히비스서커스의 블로그

상황 CentOS 7버전의 리눅스 서버에서 docker설치 후 NVIDIA docker를 설치하기 위한 가장 첫번째 단추로 NVIDIA Container Toolkit을 설치하는 부분이 있다. 이 부분의 코드는 다음과 같다. $ distribution=$(. /etc/os-release;echo $ID$VERSION_ID) \ && curl -s -L https://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.repo | sudo tee /etc/yum.repos.d/nvidia-docker.repo 자세한 내용은 모르겠으나 GPG key와 안정적인 레퍼지토리를 설치하는 코드인 듯 하다. 그런데 다음과 같은 에러를 마주쳤다. curl: erro..

서버안에서 conda env를 통해서 작업을 하더라도 여러가지 환경설정이 꼬이기 쉽상이다. 이를 해결하기 위해서는 docker를 활용하는 것이 os부터 여러 환경설정들을 컨테이너에 각각 설정해줄 수 있으므로 더 좋다. 이번에는 서버의 docker를 설치하고 jupyter notebook을 실행한 후 로컬에서 접속하는 방법을 전체적으로 진행해보았다. 도커 설치과정을 생략하겠다. 도커의 공식홈페이지를 참조하여 서버의 os에 따라 잘 설치하면 된다. https://docs.docker.com/engine/install/ubuntu/ Install Docker Engine on Ubuntu docs.docker.com 왼쪽 메뉴에서 CentOS, Debian, Fedora의 설치 방법도 확인 가능하다. 만약 N..

docker를 사용하여 파일을 만들어 빌드를 진행하며 도커 이미지와 컨테이너가 계속 쌓이다가 렉이 걸렸다. 그리하여 server에 mount된 파티션들을 확인해보니 하나가 꽉 차 있어 하나를 umount 하려고 하였다. 만약 서버를 사용하시는 분은 되도록 umount 관련 명령은 진행하지 않는 걸 추천드린다. 서버를 리부팅하거나 리셋해야할 수도 있기 떄문이다. 마운트된 디스크에서 저장공간을 확인하는 코드 $ df -h 꽉찬 파티션[ /()/() ]을 해제 하기 위한 코드 umount /()/() 만약 device is busy umount와 같은 에러 메시지가 발생하는 경우 -l 옵션을 주면 해결가능하다. 하지만 추천하지 않는다. device is busy umount 에러 메시지 시 마운트 해제 하기 ..

이 글은 S Graham 저술 "Hover-Net: Simultaneous segmentation and classification of nuclei in multi-tissue histology images" (2019)에 대하여 정리한 내용입니다. 내용이 부실하거나 잘못되었을 수 있음을 미리 말씀드립니다. Abstract Haematoxylin과 Eosin으로 염색된 조직학 이미지로 Nuclear segmentation, Classification하는 것은 디지털 병리학의 work-flow 중 가장 기본적인 전제조건이다. 자동화 방법의 nuclear segmentation, classification의 발달로 수 만장 이내의 whole-slide 병리 이미지(더 넓은 범주 핵의 형태 측정의 가능성을 ..

파이썬으로 작업을 하다보면 numpy를 쓸 일이 정말 많은 것 같다. 사실 numpy를 많이 써보긴 하였으나 깊게 파면서 직접 코드를 짜본 적은 없는 것 같다. 하지만 이미지처리나 딥러닝을 python으로 잘 활용하기 위해서는 numpy를 잘 활용하는 것이 중요한 것 같다. 이번에는 이미지 분류를 하기 위해서 이미지의 라벨링을 하는 것과 배치 처리를 하는 여러 방법들 중 numpy를 활용한 방법을 정리해보았다. 먼저 이미지를 넣을 array를 x, 라벨을 넣을 array를 y로 하여 만들어준다. import numpy as np number_of_data = 1300 # 데이터 수 img_size = 256 # 이미지의 사이즈 (정사각형으로 간주) color = 3 # 컬러는 3, 흑백은 1 batch_..

패치작업을 하다보니 하나의 주피터 노트북 파일로 실행을 하려다보니 너무나 오래걸림을 깨달았다. 이럴 때 py파일로 multiprocessing을 하여 병렬처리하는 것이 더 효율적이란 것을 알게 되었고 공부하며 한 번 정리해보았다. multiprocessing 모듈은 threading 모듈과 유사한 API를 사용하여 process spawning(OS가 다른 프로세스의 요청에 의해 자식 프로세스를 생성하는 기술)을 지원한다. multiprocessing package는 local과 원격 동시성을 모두 제공하며 thread 대신 subprocess를 사용하여 global interpreter lock(한 번에 오직 하나의 thread가 파이썬 byte code를 실행하도록 보장하기 위해 CPython 인터프..

매번 코드를 보다보면 느끼는 거지만 기본이 너무 중요한 것 같다. numpy에서 slicing을 어떻게 하는지 직관적으로 다시 이해하기 위하여 여러 실험을 진행해보았다. 좀 까다로운 2 dimension, 3 dimension array에서 slicing하는 것을 실험해보았다. 다시는 잊어버리지 말자! 2 dimension이든 3 dimension이든 slicing에서 잊지 말아야할 규칙은 가장 첫번째 인자가 가장 바깥의 array를 slicing한다는 것이다. 이후는 순차적으로 접근을 하면 된다. 실험을 통해 살펴보자. 2 dimension 첫번째 인자를 1:3으로 slicing을 하였고 두번째 인자를 0:2로 slicing을 진행하였다. 그림으로 살펴보면 다음과 같다. 먼저 첫번째 slicing(1:..

PAIP2021을 준비하게 되며 semantics segmentation을 깊이 공부하게 되었다. 사실 segmentation이 무엇이다 정도만 알고 있었기에 좀 더 공부해둘 것을 아쉬워하며 열심히 공부 중이다. 꾸준히 공부하며 블로그에 기록을 남기려 한다. segmentation의 평가지표를 살펴보고 PAIP2021에서 제시한 evaluation metrics에 대해 해석을 해보았다. 일반적으로 segmentation의 평가지표로는 Pixel Accuracy(PA), Mean Pixel Accuracy(MPA), Intersection over Union(IoU), Dice coefficient(=F1 score)가 존재한다. Pixel Accuracy(PA) 단순하게 픽셀의 비율을 올바르게 예측한 비..