히비스서커스의 블로그

파이썬에서 대용량 dataframe을 다루다 보면 시간이 오래걸릴 때가 있다. 대용량부터는 데이터를 효율적으로 읽어들이는 방법을 써야 시간을 아낄 수 있다. 이번에도 아니나 다를까 시간이 오래 걸려 코드를 개선하였는데 훨씬 더 빨라졌다.  기존 코드에 작성한 코드는 다음과 같다. def __getitem__(self, idx): item = {} img_path = self.df.values[idx,1].replace('./','/data/nas_data/Public/dacon_mai/') image = cv2.imread(img_path) image = self.transform(image) reduced_matrix = self.df..