히비스서커스의 블로그

머리글이 글은 당신이 Synology NAS를 구입할 때 설치 비용 10만원을 아껴줄 수 있다. 또한, 당신은 이 글을 일고 나면 기본적인 네트워크 지식을 얻게 될 수 있다. 이 글에는 Synology NAS를 구입후 우분투 서버에 마운트하여 활용하기 위해 필요한 세팅 과정이 정리되어 있다. 어려운 내용은 없지만 실제로 해보면 수많은 에러 사항들을 마주할 것이다. 그럼에도 이 글을 읽어가며 같이 파헤쳐보자. 기본지식서버와 nas는 모두 하나 이상의 랜포트를 가지고 있으며 랜포트 하나에는 고정 IP 하나를 세팅할 수 있다. 고정 IP를 세팅해서 하겠다는 의미는 내가 해당 랜포트의 IP주소를 변환하지 않는 한 해당 IP주소를 영구적으로 쓰겠다는 의미이고, 이는 다른 기기에서 해당 기기로 해당 랜포트의 고정..

TCGA dataset은 주로 genomic dataset으로 알려져 있으나 WSI 데이터도 존재한다. 최근 GDC Data Portal에서 TCGA-CRC (TCGA-COAD와 TCGA-ROAD) 를 다운로드 받으면서 필요한 각 스텝을 정리하였다. 기본적으로 GDC manifest라는 다운로드 받을 목록이 적힌 파일을 다운로드 받고 이를 gdc-client라는 다운로드 코드로 GDC manifest 목록들을 다운로드 방식이다. 1. GDC Data Portal에 접속 https://portal.gdc.cancer.gov/ https://portal.gdc.cancer.gov/ portal.gdc.cancer.gov 2. Build Cohort 상단 메뉴에서 Repository를 클릭한 후 CASES..

benchmark dataset을 다운받는 경우 예전에는 다른 외부 사이트나 구글드라이브에 올려진 데이터를 다운받는 경우가 많았던 것 같은데 요새는 hugging face에 많이 업로드하는 것 같다. 로그인 없이 직접 다운로드 받을수도 있지만, access를 요청해서 승인을 받아야 다운로드를 받을 수 있는 경우도 존재한다. 그래서, python에서 직접 hugging face에 업로드 된 benchmark datatset을 다운로드 받는 방법을 정리해보았다.   1. hugging face 사이트에서 로그인 후 dataset에 대한 access 요청 https://huggingface.co/ Hugging Face – The AI community building the future. huggingfac..

석사과정을 시작한 이후 대학원생으로서의 혜택을 찾아보다가 GitHub Education을 통해 GitHub Copilot을 무료 이용할 수 있다는 것을 알게 되었다. 이를 통해 VSCode에서 Copilot과 Copilot Chat을 이용가능하다. 하지만, 인증 과정에서 여러 모로 시행착오가 있었기에 한 번 정리해 보았다. 1. GitHub에 학교 이메일 계정 등록하기 Setting에서 Access - Emails에 들어가서 본인의 학교 이메일 계정을 추가해준다. 더불어 학교 계정 이메일로 들어가 인증까지 해준다.  2. GitHub에 Billing and Plan에 개인정보 작성하기 Access - Billing and plans에 들어가서 Billing information를 입력해준다. 보통 이 과..

VSCode로 Python 파일을 디버깅하다가 argparse가 되어있어 잠시 난관에 봉착하였다. launch.json 파일을 생성해서 argparse의 내용들을 적어주면 된다는데 어디다 작성하라는건지 감도 안왔지만 직접 부딪혀보면서 해보니 해결하였다. 해결방법은 다음과 같다. 1. F5 버튼을 눌러서 Debug 콘솔 열어서 '구성 추가' 버튼을 누르고 json 파일 생성된다. 2. 생성된 json 파일의 program에는 실행시킬 파이썬 파일의 경로를 넣어주고, args에는 argparse로 들어갈 tag들을 설정해준다. 꼭 argparse에 들어가는 --가 들어간 tag가 아니어도 된다. 즉, 다른 파이썬 파일의 경로가 들어가는 경우에도 가능하다. 아래의 명령어는 위의 json파일을 shell에서 명..

오픈소스에 pull request 후 merged가 되어 말로만 듣던 오픈소스에 기여하게 되었다. 근래들어 좋은 일들이 많이 일어나는데 이것만큼은 정말 짜릿하였다. 기쁨을 제쳐두고 그 과정을 천천히 기록해보려고 한다. 에러 발견 및 코드 수정 8월 9일 mmdetection에서 VOCMetric에서 mAP가 아닌 recall을 구하려고 하는데 에러가 발생했다. source 코드를 확인해보니 (경로는 mmdetection / mmdet / evaluation / metrics / voc_metric.py의 159번째 줄 이후이다.) # TODO: Currently not checked. 이런 주석 처리가 되어 있고 난데 없이 정의도 하지 않은 self.annotations를 불러와서 에러가 발생하였다. 확..

이미지 분석을 주로 하다보니 VSCode에서 debugging하면서 이미지를 확인하고 싶어 관련 설정들을 찾아보았다. 개발 환경은 윈도우 개인 PC에서 우분투 서버로 SSH 접속을 하고 있으며 Docker로 컨테이너를 띄운 환경에 접속하여 세팅하였다. 이와 같은 경우 window 창을 띄워서 하는 것이 어려우므로 jupyter를 활용하여 확인하는 방법을 사용한다.  ipykernel 설치하기 및 VSCode 창 다시 띄우기 아래의 명령어로 ipykernell을 설치한 후pip install -U ipykernel docker extension에서 jupyter 관련 extension도 모두 설치해준다. 그 후, F1을 누르고Developer: Reload Window를 통해 다시 VSCode 창을 띄워준..

이번 포스팅에서는 Airflow를 docker 컨테이너에서 사용할 경우 PostgreSQL 컨테이너와 네트워크로 연결하는 방법을 정리하였다. 왜 DB container로 PostgreSQL을 사용하려는가? 일단 Airflow에서 공식적으로 제공하는 docker-compose 파일에서 PostgreSQL을 DB container로 업로드 하도록 세팅되어 있다. 그 이유는 아마도 Airflow에서 병렬처리를 하는 Executor를 사용하려면 PostgreSQL를 DB로 하는 것이 유리하기 때문인 것으로 보인다. (만약 SQLite를 DB로 사용하게 될 경우 Executor가 아닌 Sequential Executor를 사용하여야 해서 병렬이 아닌 순차적를 할 수 밖에 없다고 한다.) Docker환경에서 Air..