일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |
- GIT
- vscode
- Jupyter notebook
- aiffel exploration
- linear regression
- Multi-Resolution Networks for Semantic Segmentation in Whole Slide Images
- AIFFEL
- docker
- numpy
- 머신러닝
- IVI
- 코크리
- cocre
- 프로그래머스
- 백신후원
- Pull Request
- 기초확률론
- docker exec
- 도커
- 사회조사분석사2급
- ssh
- Decision Boundary
- CellPin
- cs231n
- HookNet
- WSSS
- docker attach
- logistic regression
- airflow
- 히비스서커스
- Today
- Total
목록전체 글 (178)
히비스서커스의 블로그
이 글은 병리 이미지 다루기 시리즈 글입니다. 병리 이미지 다루기 1 (feat. Stain Normalization), 병리 이미지 다루기 2 (feat. Microns Per Pixel), 병리 이미지 다루기 3 (feat. Multi Resolution Model) 총 3회에 걸쳐 제작 예정입니다. 이 시리즈는 모두의 연구소의 코크리 2기 회원으로서 작성한 글임을 밝힙니다. 코크리란 저번 글 병리 이미지 다루기 1 (feat. Stain Normalization) 편에서는 병리 이미지 데이터를 얻는 과정에서 생기는 배치 효과나 스캐너의 차이로 인해 발생하는 색상의 차이를 stain normalization을 통해 극복할 수 있는 방법에 대해 살펴 보았습니다. 조금은 가볍게 다룬 감이 없지 않아 있다..
마운트 지점을 변경한 후 도커 컨테이너를 띄우려고 하니 다음과 같은 에러가 발생하였다. docker: Error response from daemon: OCI runtime create failed: container_linux.go:380: starting container process caused: process_linux.go:385: applying cgroup configuration for process caused: no cgroup mount found in mountinfo: unknown. mount 정보에서 cgroup mount를 찾을 수 없다는 말인 듯 하다. 첫번째 해결방안은 돔돔이님 블로그를 참조하여 해결하였다. cgroup을 mount 해주면 해결이 된다. https://d..
이 글은 병리 이미지 다루기 시리즈 글입니다. 병리 이미지 다루기 1 (feat. Stain Normalization), 병리 이미지 다루기 2 (feat. Microns Per Pixel), 병리 이미지 다루기 3 (feat. Multi Resolution Model) 총 3회에 걸쳐 제작 예정입니다. 이 시리즈는 모두의 연구소의 코크리 2기 회원으로서 작성한 글임을 밝힙니다. 코크리란 안녕하세요. 저는 병원에서 병리 이미지 데이터로 딥러닝과 머신러닝을 적용하여 여러 과제들을 수행하는 연구하고 있습니다. 연구를 수행하면서 느끼는 점은 딥러닝 지식과 머신러닝 지식도 매우 중요하지만 도메인 지식도 꼭 필요하다는 것입니다. 당연한 이야기 이지만 결국 도메인 지식이 데이터를 이해하는데 도움을 주고 결과의 해석..
상황 직접 만든 모델을 학습 후 torch.save(model, path) 로 저장한 후 torch.load(weight) 을 하는 도중 다음과 같은 에러가 발생하였다. ModuleNotFoundError: No module named 'models' 원인 라이브러리를 통해 model을 학습 후 저장한 것이 아닌 직접 만든 모델이나 git clone을 통해 받은 모델을 학습시킨 후 torch.save()를 통해 weight을 저장한 후 model이 담겨있는 py파일 경로가 아닌 다른 경로에서 load하는 경우 발생하는 에러이다. 해결 import sys sys.path.insert(0, yourmodelpath) 위의 코드와 같이 sys.path에 모델의 파일이 담긴 경로를 추가해주어 해결할 수 있다. ..
torch로 multi class semantic segmentation model을 학습 중이다. 원래는 DiceLoss를 사용하여 Train을 하다가 CrossEntropyLoss에 Class Weight을 주어 다시 Train하려는데 다음과 같은 에러가 발생하였다. RuntimeError: Expected object of scalar type Long but got scalar type Float when using CrossEntropyLoss 이를 해결방법을 찾던 중 loss를 구하는 부분에서 y부분 (ground truth 부분)에 y.to(dtype=torch.long) 을 해주어 해결이 가능하다고 하여 적용하였으나 바로 다음과 같은 에러를 마주쳤다. RuntimeError: 1only b..
최근 서버의 docker container로 알 수 없는 파일들이 설치되어 GPU를 통해 채굴하고 있었다.. 문제는 방화벽으로 내가 사용하는 local의 IP만 allow하도록 설정하였고 기록을 봐도 다른 IP의 기록도 없었다. 서버의 비밀번호도 새로 설정해놔서 쉽게 access하지 못하도록 해놨는데 반복적으로 이런 일이 일어나고 있었다. 문제 사수분의 도움을 받아 해결해보니 docker로 컨테이너를 띄울 때 jupyter notebook 설정을 할 때 ip를 'localhost'로 설정하지 않고 0.0.0.0으로 설정을 해두었는데 이것이 문제였다. ip를 0.0.0.0으로 해둔 이유는 두 가지 설정 때문이다. 첫번째는 local에서 ssh로 server에 접속하는 것이고 두번째는 docker conta..
Linux서버를 밀고난 후 다시 리눅스를 설치한 후 연결된 파티션들을 마운트하는 작업을 하였다. 가장 먼저 확인할 사항은 마운트 되지 않은 파티션들을 찾는 것이다. 먼저 전체 파티션 목록을 확인한다. $ sudo fdisk -l 그 후 부착된 파티션 목록을 확인한다. $ df -T 그 후 파티션 목록들을 확인한다. /dev/nvme0n1에 /dev/nvme0n1p1, /dev/nvme0n1p2, /dev/nvme0n1p4 등이 포함되어 있다. 따라서, 마운트 안된 파티션은 /dev/sdb, /dev/sda이다. (사실 첫번째 사진의 Partition 1 does not start on physical sector boundary. 로 써져 있는 것이 물리적 섹터 바운더리로 시작을 안하기 때문에 이 경고 ..
optuna를 통해 최적의 하이퍼 파라미터를 찾는 코드를 작성 후 실행하다가 에러를 마주하였다. 먼저, 실행하였던 코드들을 간략하게 정리해보겠다. 실행하고 있던 코드가 나와있는 원문 https://towardsdatascience.com/https-medium-com-perlitz-hyper-parameter-optimization-with-optuna-1c32785e7df A 5 min guide to hyper-parameter optimization with Optuna Finding the best hyper-parameters for your model is now a breeze. towardsdatascience.com 라이브러리를 불러오고 dataloader 함수를 작성한다. from __..