히비스서커스의 블로그

이번 포스팅에서는 Airflow를 docker 컨테이너에서 사용할 경우 WandB를 설정하는 방법을 정리하였다. 왜 Airflow를 WandB와 같이 사용하려는가? Airflow는 일반적으로 데이터 파이프라인 구축하여 스케줄링 하고 모니터링 하기 위해 주로 사용된다. 실시간으로 로그가 쌓이는 작업에서 데이터 파이프라인을 관리하기 위해서 보통 많이 쓰이는 것으로 알고 있다. 이런 과정을 위해서 쓴다면 로그들은 ETL를 거쳐 데이터베이스에 저장되고 ELT 과정을 통해 의미있는 데이터들을 얻어낸 다음 머신러닝 학습을 한 후 얻게 된 정보를 바탕으로 서비스를 제공하는 방식으로 운영이 될 것이다. 만약, 데이터베이스에 저장될 수 있는 데이터가 아닌 이미지 데이터를 위한 머신러닝 모델을 활용하는 task가 이 과정..

이번 글에서는 object detection 모델 학습을 위한 라이브러리로 유명한 mmdetection을 사용하기 위한 방법을 다루고자 한다. 기존 버전들(ver 2.x)에 대한 블로그 글은 많지만 최근 ver 3.x로 업데이트 된 후 정리된 내용이 없어 직접 사용해본 후 정리해보았다. 0. 설치 및 설정 mmdetection은 라이브러리 설치 후 모듈을 불러오는 일반적인 방식과 다르게 git clone 후 커스터마이징하는 방식으로 많이 쓴다. 먼저, mmdetection은 mmengine과 mmcv라는 라이브러리와 연동되어 작용하기 때문에 이들을 먼저 설치해주어야 한다. pip install -U openmim mim install mmengine mim install "mmcv>=2.0.0" 그 후,..

상황 다음과 같은 dockerfile을 띄우는 도중 다음과 같은 에러가 발생하였다. FROM apache-airflow:2.5.1 RUN apt-get install update (생략)... 에러 List directory /var/lib/apt/lists/partial is missing. - Acquire (13: Not a directory) 원인 'apt-get install update'를 실행할 user 설정이 제대로 안되어 있기 때문이다. 따라서, user를 root로 지정해주면 해결이 가능하다. 해결 FROM apache-airflow:2.5.1 ROOT user RUN apt-get install update (생략)... dockerfile에 ROOT user를 추가한다.

상황 torchvision의 object detection으로 model을 training 하는 도중 다음과 같은 에러를 마주하였다. 에러 Loss is nan, stopping training {'loss_classifier': tensor(nan, device='cuda:0', grad_fn=), 'loss_box_reg': tensor(nan, device='cuda:0', grad_fn=), 'loss_objectness': tensor(nan, device='cuda:0', grad_fn=), 'loss_rpn_box_reg': tensor(nan, device='cuda:0', grad_fn=)} 원인 추측하건데 bounding box가 없는 데이터 부분에서 loss가 크게 발생하는데 이때 l..

상황 airflow의 GPU를 사용하는 DAG 코드를 작성하다가 다음과 같은 에러를 마주쳤다. 코드 from airflow import DAG from airflow.operators.python import PythonOperator from datetime import datetime from models import our_model import torch test = DAG( dag_id = 'test', start_date = datetime(2022,5,5), catchup = False, schedule = '@once' ) train = PythonOperator( task_id = 'train', python_callable = train, dag = test ) def train(): ..

안녕하세요. 히비스서커스입니다. 오랜만에 꿀팁 하나 들고 왔습니다. 최근에 변경한 알뜰폰 요금제 회사인 이야기모바일 추천을 하고자 합니다! 먼저, 사이트 주소는 https://www.eyagi.co.kr/shop/index.php 입니다. 원하는 조건의 요금제를 손쉽게 찾을 수 있어요! 잘 찾아보시면 월 요금이 무려 0원 (무료)인 요금제도 있으니 잘 찾아보세요. 요금제는 자주 바뀌기 때문에 제가 바꾼 요금제는 현재는 가입이 불가하여 추천을 못드리는 점 양해 부탁드립니다. 신청 후 약 2주 정도 기다리면 입력하신 주소로 위와 같은 내용물의 택배가 옵니다. 가장 먼저 해야할 일은 위의 종이에 있는 QR코드의 링크로 들어가서 신청하신 요금제를 다시 한 번 신청하셔야 합니다. 아직 개통이 된 것이 아니기 때문..

상황 아래의 대략적인 코드와 같이 from pytorch_lightning.loggers import WandbLogger from pytorch_lightning import Trainer import wandb wandb_logger = WandbLogger() trainer = Trainer( accelerator = 'gpu', devices = 2, logger=wandb_logger ) (...) val = wandb.run.summary('val_acc') 학습 프레임워크로 pytorch lightning를 사용하고 log를 받아 시각화하기 위해 wandb_logger로 받았다. 그 후 wandb에 단일 값으로 저장된 'val_acc'에 해당하는 값을 불러오려는데 'NoneType' obje..

aria2 설명 리눅스 터미널 창에서 다운로드 링크를 통해 다운로드 해주는 프로그램 중 하나이다. wget이나 curl 등의 다른 방법도 존재하나 여러 파일을 다운로드 할 때 유용한 프로그램이다. aria2 다운로드 $sudo apt install aria2 파일 하나를 파일링크를 통해 터미널에서 다운로드$ sudo aria2c 파일 여러 개를 파일링크 여러 개를 통해 터미널에서 다운로드 $ sudo aria2c -Z ... mega 설명 메가 리미티드가 개발한 클라우드 온라인 저장소 서비스이다. 메가에 올려진 파일을 링크로 받으려고 하면 위에서 사용했던 aria2(wget, curl 포함)의 링크와는 다르게 얻어진다. 때문에 터미널에서 메가링크로 파일을 다운받으려면 다음과 같다. mega 다운로드 ..