히비스서커스의 블로그

파이썬에서 대용량 dataframe을 다루다 보면 시간이 오래걸릴 때가 있다. 대용량부터는 데이터를 효율적으로 읽어들이는 방법을 써야 시간을 아낄 수 있다. 이번에도 아니나 다를까 시간이 오래 걸려 코드를 개선하였는데 훨씬 더 빨라졌다.  기존 코드에 작성한 코드는 다음과 같다. def __getitem__(self, idx): item = {} img_path = self.df.values[idx,1].replace('./','/data/nas_data/Public/dacon_mai/') image = cv2.imread(img_path) image = self.transform(image) reduced_matrix = self.df..

요즈음 미디어의 발달로 수많은 유익한 강의들이 즐비하다. 마음만 먹으면 내가 관심있는 분야의 강의를 수강하며 배워나갈 수 있다. 하지만, 강의를 수강하였다는 것 자체만으로 내가 그 분야의 전문성을 있음을 입증할 수 있다거나 진정한 의미로 안다는 것은 전혀 아니다. 강의 자체는 강사의 지식과 경험을 공유해줄 뿐 수강생에게 지식을 체화시켜줄 수 없기 때문이다. 필자는 어떻게 하면 강의를 수강한 후 지식과 경험을 본인의 것으로 만들 수 있을까를 고민해 보았다. 그 방법은 크게 3가지인데 프로젝트화 하기, 원페이지서머리 만들기, 네트워킹 참여하기이다. 각각이 어떤 것을 의미하는지 살펴보자.  1. 프로젝트화 하기프로젝트화 하기의 의미는 현재 내가 가지고 있는 문제나 어려움에 배운 지식을 적용하여 해결해보는 시도..

구글드라이브의 폴더를 공유 받았을 때 리눅스 명령어로 받는 방법을 정리해보았다. 1. gdrive를 먼저 다운로드 해준다. https://github.com/glotlabs/gdrive/releases 옆의 링크에서 gdrive_linux-x64.tar.gz를 찾아서 링크를 복사한다.   wget 명령어로 다운로드를 해준다.wget [복사한 다운로드 링크] -O gdrive  tar.gz 파일은 압축 파일이므로 아래와 같이 압축을 풀어준다.tar -xvzf gdrive 그 후, 아래의 명령어로 /usr/local/bin에 gdrive 파일을 옮겨주고 실행 권한을 주면 사용가능하다. # 이동sudo mv gdrive /usr/local/bin/# 실행 권한 추가sudo chmod +x /usr/local/..

돈을 번다고 하면 우리는 일반적으로 노동을 하거나 투자를 하거나 혹은 서비스 및 재화를 제공하여 수익을 얻어내는 것에 초점을 둔다. 하지만, 나는 이러한 방식만이 돈을 버는 것이라고는 생각하지 않는다. 애초에 돈에 대한 개념도 다르게 생각한다.  내가 생각하는 돈이란? '50,000원 짜리' 지폐를 들고 돈이냐고 묻는다면 다들 그렇다고 대답을 하겠지만, 나는 '틀린 말은 아니지만 그것은 정확하게 화폐이다.'라고 답을 할 것이다. 내가 생각하는 돈이란 '개인이나 사회에 끼칠 수 있는 영향력 중 하나' 이다.  돈을 약속이라고 정의하기엔 2% 부족하다. '부자 아빠 가난한 아빠'는 우리가 화폐를 통해 어떤 재화나 서비스를 구매하고자 생각한다면, 그것이 품절되지 않았다면 이미 거래가 이루어진 것과 다름이 없다..

왜 우리는 더욱 불행해졌는가? 현대 사회는 과거에 비해 풍족한 삶을 제공한다. 원하는 정보는 언제든 인터넷 검색을 통해 쉽게 얻을 수 있으며, 먹을 것 또한 풍요로워져 세계 인구의 24%가 비만이라고 한다. 우리가 원하는 것이 거창한 것이 아니라면 우리는 큰 노력없이 쉽게 얻을 수 있다. 하지만, 풍요 속의 빈곤이라는 말이 있듯 현대 사회의 인류가 과거에 비해 더 행복해지지 않았다. 오히려 우울증 환자들은 과거 10년에 비해 60%가 증가하였다. 왜 이런 현상이 발생하였을까에 대한 이유로 요새 어디에서나 들을 수 있는 'SNS의 발달로 남들과 비교하면서 행복지수가 떨어졌다.'로 결론 지을 수도 있겠지만 좀 다른 관점으로의 접근을 원하여 도파미네이션 책을 접하게 되었다.  도파미네이션: 쾌락과 고통의 저울..

흔히 일적으로만 만나는 관계를 '비즈니스 관계'라고 한다. 옛날부터 정을 중시하였던 우리나라에 자본주의와 개인주의의 심화로 이러한 관계가 생겨났다고 안타까워 할 수 있다. 하지만, 교통통신의 발달로 만나는 사람들의 수도 많아지고, 현대 사회가 빠르게 흘러가다 보니 개인의 시간과 에너지는 한정되어 있기에 자연스럽게 이러한 관계가 맺어지며 '비즈니스 관계'란 단어를 사용하게 되지 않았나 싶다.  이러한 사회 흐름 속에서 비즈니스 관계와 같은 새로운 형태의 관계들이 생겨났다고 생각하는데 그 중 필자가 이번에 정의해보고자 하는 관계는 '피트니스 관계'이다.  피트니스 관계라 함은 어릴 적 놀이터에서 놀던 친구와 비슷한 관계이다. 만날 가는 그 시간에 있고 자연스럽게 이야기하며 친해져 사사로운 이야기를 나누는 관..

benchmark dataset을 다운받는 경우 예전에는 다른 외부 사이트나 구글드라이브에 올려진 데이터를 다운받는 경우가 많았던 것 같은데 요새는 hugging face에 많이 업로드하는 것 같다. 로그인 없이 직접 다운로드 받을수도 있지만, access를 요청해서 승인을 받아야 다운로드를 받을 수 있는 경우도 존재한다. 그래서, python에서 직접 hugging face에 업로드 된 benchmark datatset을 다운로드 받는 방법을 정리해보았다.   1. hugging face 사이트에서 로그인 후 dataset에 대한 access 요청 https://huggingface.co/ Hugging Face – The AI community building the future. huggingfac..

해외학회가 올해 모로코에서 진행되게 되어 머릿털나고 처음으로 아프리카 대륙을 밟아보게 되었다. 학회 기간 동안 여러 논문들도 관심있게 보았지만 그래도 모로코의 마라케시에 오게 되었으니 중심 상관인 메디나 지역도 둘러보고 서사하라 지역으로 렌트하여 사막투어를 하게 되었는데 인터넷에서 쉽게 알기 어려운 교통수단 관련 유의사항들을 남겨보려 한다. 1. 택시타고 이동 시 짧은 기간(약 일주일 정도)만 있다보니 마라케시 지역을 머무를 때는 주로 택시를 이용하였는데 이것이 참 가관이었다. 공항 입구에는 그나마 목적지를 적으면 가격이 미리 나와있어서 어느정도 예상은 되었다. 하지만, 새벽 1시쯤 타서 야간할증이 붙어서 그런지 약 12KM 정도 (약 20분 소요)의 가격이 250 MAD (한화 약 37,500원) 가량..