일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |
- Decision Boundary
- 머신러닝
- 도커
- AIFFEL
- vscode
- aiffel exploration
- 히비스서커스
- logistic regression
- docker
- 프로그래머스
- docker exec
- airflow
- CellPin
- cs231n
- GIT
- docker attach
- 사회조사분석사2급
- 기초확률론
- HookNet
- linear regression
- Multi-Resolution Networks for Semantic Segmentation in Whole Slide Images
- cocre
- WSSS
- 코크리
- Pull Request
- Jupyter notebook
- ssh
- 백신후원
- IVI
- numpy
- Today
- Total
목록Programming (73)
히비스서커스의 블로그
상황 직접 만든 모델을 학습 후 torch.save(model, path) 로 저장한 후 torch.load(weight) 을 하는 도중 다음과 같은 에러가 발생하였다. ModuleNotFoundError: No module named 'models' 원인 라이브러리를 통해 model을 학습 후 저장한 것이 아닌 직접 만든 모델이나 git clone을 통해 받은 모델을 학습시킨 후 torch.save()를 통해 weight을 저장한 후 model이 담겨있는 py파일 경로가 아닌 다른 경로에서 load하는 경우 발생하는 에러이다. 해결 import sys sys.path.insert(0, yourmodelpath) 위의 코드와 같이 sys.path에 모델의 파일이 담긴 경로를 추가해주어 해결할 수 있다. ..
torch로 multi class semantic segmentation model을 학습 중이다. 원래는 DiceLoss를 사용하여 Train을 하다가 CrossEntropyLoss에 Class Weight을 주어 다시 Train하려는데 다음과 같은 에러가 발생하였다. RuntimeError: Expected object of scalar type Long but got scalar type Float when using CrossEntropyLoss 이를 해결방법을 찾던 중 loss를 구하는 부분에서 y부분 (ground truth 부분)에 y.to(dtype=torch.long) 을 해주어 해결이 가능하다고 하여 적용하였으나 바로 다음과 같은 에러를 마주쳤다. RuntimeError: 1only b..
최근 서버의 docker container로 알 수 없는 파일들이 설치되어 GPU를 통해 채굴하고 있었다.. 문제는 방화벽으로 내가 사용하는 local의 IP만 allow하도록 설정하였고 기록을 봐도 다른 IP의 기록도 없었다. 서버의 비밀번호도 새로 설정해놔서 쉽게 access하지 못하도록 해놨는데 반복적으로 이런 일이 일어나고 있었다. 문제 사수분의 도움을 받아 해결해보니 docker로 컨테이너를 띄울 때 jupyter notebook 설정을 할 때 ip를 'localhost'로 설정하지 않고 0.0.0.0으로 설정을 해두었는데 이것이 문제였다. ip를 0.0.0.0으로 해둔 이유는 두 가지 설정 때문이다. 첫번째는 local에서 ssh로 server에 접속하는 것이고 두번째는 docker conta..
Linux서버를 밀고난 후 다시 리눅스를 설치한 후 연결된 파티션들을 마운트하는 작업을 하였다. 가장 먼저 확인할 사항은 마운트 되지 않은 파티션들을 찾는 것이다. 먼저 전체 파티션 목록을 확인한다. $ sudo fdisk -l 그 후 부착된 파티션 목록을 확인한다. $ df -T 그 후 파티션 목록들을 확인한다. /dev/nvme0n1에 /dev/nvme0n1p1, /dev/nvme0n1p2, /dev/nvme0n1p4 등이 포함되어 있다. 따라서, 마운트 안된 파티션은 /dev/sdb, /dev/sda이다. (사실 첫번째 사진의 Partition 1 does not start on physical sector boundary. 로 써져 있는 것이 물리적 섹터 바운더리로 시작을 안하기 때문에 이 경고 ..
optuna를 통해 최적의 하이퍼 파라미터를 찾는 코드를 작성 후 실행하다가 에러를 마주하였다. 먼저, 실행하였던 코드들을 간략하게 정리해보겠다. 실행하고 있던 코드가 나와있는 원문 https://towardsdatascience.com/https-medium-com-perlitz-hyper-parameter-optimization-with-optuna-1c32785e7df A 5 min guide to hyper-parameter optimization with Optuna Finding the best hyper-parameters for your model is now a breeze. towardsdatascience.com 라이브러리를 불러오고 dataloader 함수를 작성한다. from __..
다른 서버로 현재 도커 컨테이너 상태 그대로 옮겨야 할 일이 생겼다. 이때 활용하기 좋은 방법으로 현재 container상태 그대로 image로 저장하는 명령어 docker commit과 image를 다른 서버나 pc로 옮길 수 있는 docker push를 정리해보았다. docker commit $ docker commit (현재 contianer 이름) (저장할 이미지명) 예시 $ docker commit hibiscircus gotjd709/hibiscircus:latest docker push 1) 먼저 도커 허브에 계정을 만든다. https://hub.docker.com/ Docker Hub Container Image Library | App Containerization We and thir..
local의 ubuntu server에 ssh 접속을 원활하게 해주기 위해 고정 IP를 설정하는 방법을 적용해보자. 먼저, ifconfig를 통해서 local의 ubuntu server의 IP주소를 확인하자. 랜선을 eno2에 연결하였기에 eno2부분을 보고 inet옆의 IP주소를 확인하자. 예시를 위해 192.168.0.128이라고 하겠다. 또한, netmask는 255.255.255.128이라고 하자. 다음으로, /etc/netplan/*.yaml 파일을 열어보자. - dhcp4: yes -> dhpc: no로 변경 - addresses: [] -> IP주소 / netmask주소로 변경 예시) 192.168.0.128/25 왜 255.255.255.128이 25로 되는지는 궁금할 경우 클릭 더보기 서..
nvidia docker 설치하는 방법은 아래의 공식 링크를 확인 https://docs.nvidia.com/datacenter/cloud-native/container-toolkit/install-guide.html Installation Guide — NVIDIA Cloud Native Technologies documentation On RHEL 7, install the nvidia-container-toolkit package (and dependencies) after updating the package listing: Restart the Docker daemon to complete the installation after setting the default runtime: Note De..