히비스서커스의 블로그

VSCode로 Python 파일을 디버깅하다가 argparse가 되어있어 잠시 난관에 봉착하였다. launch.json 파일을 생성해서 argparse의 내용들을 적어주면 된다는데 어디다 작성하라는건지 감도 안왔지만 직접 부딪혀보면서 해보니 해결하였다. 해결방법은 다음과 같다. 1. F5 버튼을 눌러서 Debug 콘솔 열어서 '구성 추가' 버튼을 누르고 json 파일 생성된다. 2. 생성된 json 파일의 program에는 실행시킬 파이썬 파일의 경로를 넣어주고, args에는 argparse로 들어갈 tag들을 설정해준다. 꼭 argparse에 들어가는 --가 들어간 tag가 아니어도 된다. 즉, 다른 파이썬 파일의 경로가 들어가는 경우에도 가능하다. 아래의 명령어는 위의 json파일을 shell에서 명..

오픈소스에 pull request 후 merged가 되어 말로만 듣던 오픈소스에 기여하게 되었다. 근래들어 좋은 일들이 많이 일어나는데 이것만큼은 정말 짜릿하였다. 기쁨을 제쳐두고 그 과정을 천천히 기록해보려고 한다. 에러 발견 및 코드 수정 8월 9일 mmdetection에서 VOCMetric에서 mAP가 아닌 recall을 구하려고 하는데 에러가 발생했다. source 코드를 확인해보니 (경로는 mmdetection / mmdet / evaluation / metrics / voc_metric.py의 159번째 줄 이후이다.) # TODO: Currently not checked. 이런 주석 처리가 되어 있고 난데 없이 정의도 하지 않은 self.annotations를 불러와서 에러가 발생하였다. 확..

이미지 분석을 주로 하다보니 VSCode에서 debugging하면서 이미지를 확인하고 싶어 관련 설정들을 찾아보았다. 개발 환경은 윈도우 개인 PC에서 우분투 서버로 SSH 접속을 하고 있으며 Docker로 컨테이너를 띄운 환경에 접속하여 세팅하였다. 이와 같은 경우 window 창을 띄워서 하는 것이 어려우므로 jupyter를 활용하여 확인하는 방법을 사용한다. ipykernel 설치하기 및 VSCode 창 다시 띄우기 아래의 명령어로 ipykernell을 설치한 후 pip install -U ipykernel F1을 누르고 Developer: Reload Window 를 통해 다시 VSCode 창을 띄워준다. 중단점 찍어주기 debug할 python 파일에 중단점을 찍어준다. 만약, debug할 모듈..

이번 포스팅에서는 Airflow를 docker 컨테이너에서 사용할 경우 PostgreSQL 컨테이너와 네트워크로 연결하는 방법을 정리하였다. 왜 DB container로 PostgreSQL을 사용하려는가? 일단 Airflow에서 공식적으로 제공하는 docker-compose 파일에서 PostgreSQL을 DB container로 업로드 하도록 세팅되어 있다. 그 이유는 아마도 Airflow에서 병렬처리를 하는 Executor를 사용하려면 PostgreSQL를 DB로 하는 것이 유리하기 때문인 것으로 보인다. (만약 SQLite를 DB로 사용하게 될 경우 Executor가 아닌 Sequential Executor를 사용하여야 해서 병렬이 아닌 순차적를 할 수 밖에 없다고 한다.) Docker환경에서 Air..

이번 포스팅에서는 Airflow를 docker 컨테이너에서 사용할 경우 WandB를 설정하는 방법을 정리하였다. 왜 Airflow를 WandB와 같이 사용하려는가? Airflow는 일반적으로 데이터 파이프라인 구축하여 스케줄링 하고 모니터링 하기 위해 주로 사용된다. 실시간으로 로그가 쌓이는 작업에서 데이터 파이프라인을 관리하기 위해서 보통 많이 쓰이는 것으로 알고 있다. 이런 과정을 위해서 쓴다면 로그들은 ETL를 거쳐 데이터베이스에 저장되고 ELT 과정을 통해 의미있는 데이터들을 얻어낸 다음 머신러닝 학습을 한 후 얻게 된 정보를 바탕으로 서비스를 제공하는 방식으로 운영이 될 것이다. 만약, 데이터베이스에 저장될 수 있는 데이터가 아닌 이미지 데이터를 위한 머신러닝 모델을 활용하는 task가 이 과정..

이번 글에서는 object detection 모델 학습을 위한 라이브러리로 유명한 mmdetection을 사용하기 위한 방법을 다루고자 한다. 기존 버전들(ver 2.x)에 대한 블로그 글은 많지만 최근 ver 3.x로 업데이트 된 후 정리된 내용이 없어 직접 사용해본 후 정리해보았다. 0. 설치 및 설정 mmdetection은 라이브러리 설치 후 모듈을 불러오는 일반적인 방식과 다르게 git clone 후 커스터마이징하는 방식으로 많이 쓴다. 먼저, mmdetection은 mmengine과 mmcv라는 라이브러리와 연동되어 작용하기 때문에 이들을 먼저 설치해주어야 한다. pip install -U openmim mim install mmengine mim install "mmcv>=2.0.0" 그 후,..

상황 다음과 같은 dockerfile을 띄우는 도중 다음과 같은 에러가 발생하였다. FROM apache-airflow:2.5.1 RUN apt-get install update (생략)... 에러 List directory /var/lib/apt/lists/partial is missing. - Acquire (13: Not a directory) 원인 'apt-get install update'를 실행할 user 설정이 제대로 안되어 있기 때문이다. 따라서, user를 root로 지정해주면 해결이 가능하다. 해결 FROM apache-airflow:2.5.1 ROOT user RUN apt-get install update (생략)... dockerfile에 ROOT user를 추가한다.

상황 torchvision의 object detection으로 model을 training 하는 도중 다음과 같은 에러를 마주하였다. 에러 Loss is nan, stopping training {'loss_classifier': tensor(nan, device='cuda:0', grad_fn=), 'loss_box_reg': tensor(nan, device='cuda:0', grad_fn=), 'loss_objectness': tensor(nan, device='cuda:0', grad_fn=), 'loss_rpn_box_reg': tensor(nan, device='cuda:0', grad_fn=)} 원인 추측하건데 bounding box가 없는 데이터 부분에서 loss가 크게 발생하는데 이때 l..