히비스서커스의 블로그

이미지 분석을 주로 하다보니 VSCode에서 debugging하면서 이미지를 확인하고 싶어 관련 설정들을 찾아보았다. 개발 환경은 윈도우 개인 PC에서 우분투 서버로 SSH 접속을 하고 있으며 Docker로 컨테이너를 띄운 환경에 접속하여 세팅하였다. 이와 같은 경우 window 창을 띄워서 하는 것이 어려우므로 jupyter를 활용하여 확인하는 방법을 사용한다. ipykernel 설치하기 및 VSCode 창 다시 띄우기 아래의 명령어로 ipykernell을 설치한 후 pip install -U ipykernel F1을 누르고 Developer: Reload Window 를 통해 다시 VSCode 창을 띄워준다. 중단점 찍어주기 debug할 python 파일에 중단점을 찍어준다. 만약, debug할 모듈..

이번 포스팅에서는 Airflow를 docker 컨테이너에서 사용할 경우 WandB를 설정하는 방법을 정리하였다. 왜 Airflow를 WandB와 같이 사용하려는가? Airflow는 일반적으로 데이터 파이프라인 구축하여 스케줄링 하고 모니터링 하기 위해 주로 사용된다. 실시간으로 로그가 쌓이는 작업에서 데이터 파이프라인을 관리하기 위해서 보통 많이 쓰이는 것으로 알고 있다. 이런 과정을 위해서 쓴다면 로그들은 ETL를 거쳐 데이터베이스에 저장되고 ELT 과정을 통해 의미있는 데이터들을 얻어낸 다음 머신러닝 학습을 한 후 얻게 된 정보를 바탕으로 서비스를 제공하는 방식으로 운영이 될 것이다. 만약, 데이터베이스에 저장될 수 있는 데이터가 아닌 이미지 데이터를 위한 머신러닝 모델을 활용하는 task가 이 과정..

안녕하세요. 히비스서커스입니다. 도커는 보통 개발한 프로그램이나 코드를 배포하거나 공유할 때 동일한 환경을 제공하기 위해 주로 개발자들을 비롯한 프로그래밍 관련 일을 하시는 분들이 많이 이용하시곤 하는데요. 도커 이미지는 서비스 운영에 필요한 프로그램, 코드, 실행파일 등을 묶은 것을 나타내며, 도커 컨테이너는 도커 이미지를 실행한 것을 말하죠. 도커 컨테이너라는 표현은 매우 직관적으로 그 기능을 잘 담아낸 것 같습니다. 도커의 로고가 그려져 매우 갖고 싶기도 한 도커 컨테이너에서 착안한 아이디어 상품 도커 각티슈 케이스 제품을 소개하겠습니다. https://incatos.shop/surl/P/11 도커 컨테이너 각티슈 휴지 케이스 티슈커버 사각 아크릴 각티슈 커버 - 푸르가즘 교환 및 반품 주소 - 교..

도커 명령어를 간단한 입력하였는데 다음과 같은 에러가 나왔다. 실행한 명령어 $ docker images 마주친 에러 Cannot connect to the Docker daemon at unix:///var/run/docker.sock. Is the docker daemon running? 이를 해결하기 위해 docker 서비스 실행 명렁어를 입력하자 에러가 발생하였다. 실행한 명령어 $ systemctl start docker 마주친 에러 Job for docker.service failed because the control process exited with error code. See "systemctl status docker.service" and "journalctl -xe" for det..

서버안에서 conda env를 통해서 작업을 하더라도 여러가지 환경설정이 꼬이기 쉽상이다. 이를 해결하기 위해서는 docker를 활용하는 것이 os부터 여러 환경설정들을 컨테이너에 각각 설정해줄 수 있으므로 더 좋다. 이번에는 서버의 docker를 설치하고 jupyter notebook을 실행한 후 로컬에서 접속하는 방법을 전체적으로 진행해보았다. 도커 설치과정을 생략하겠다. 도커의 공식홈페이지를 참조하여 서버의 os에 따라 잘 설치하면 된다. https://docs.docker.com/engine/install/ubuntu/ Install Docker Engine on Ubuntu docs.docker.com 왼쪽 메뉴에서 CentOS, Debian, Fedora의 설치 방법도 확인 가능하다. 만약 N..