일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |
- IVI
- cs231n
- 코크리
- Jupyter notebook
- Multi-Resolution Networks for Semantic Segmentation in Whole Slide Images
- 히비스서커스
- 머신러닝
- logistic regression
- aiffel exploration
- docker attach
- docker exec
- 기초확률론
- GIT
- ssh
- 도커
- cocre
- 백신후원
- vscode
- 사회조사분석사2급
- docker
- HookNet
- CellPin
- WSSS
- airflow
- linear regression
- numpy
- 프로그래머스
- Decision Boundary
- AIFFEL
- Pull Request
- Today
- Total
목록Programming/Python (39)
히비스서커스의 블로그
파이썬으로 작업을 하다보면 numpy를 쓸 일이 정말 많은 것 같다. 사실 numpy를 많이 써보긴 하였으나 깊게 파면서 직접 코드를 짜본 적은 없는 것 같다. 하지만 이미지처리나 딥러닝을 python으로 잘 활용하기 위해서는 numpy를 잘 활용하는 것이 중요한 것 같다. 이번에는 이미지 분류를 하기 위해서 이미지의 라벨링을 하는 것과 배치 처리를 하는 여러 방법들 중 numpy를 활용한 방법을 정리해보았다. 먼저 이미지를 넣을 array를 x, 라벨을 넣을 array를 y로 하여 만들어준다. import numpy as np number_of_data = 1300 # 데이터 수 img_size = 256 # 이미지의 사이즈 (정사각형으로 간주) color = 3 # 컬러는 3, 흑백은 1 batch_..
패치작업을 하다보니 하나의 주피터 노트북 파일로 실행을 하려다보니 너무나 오래걸림을 깨달았다. 이럴 때 py파일로 multiprocessing을 하여 병렬처리하는 것이 더 효율적이란 것을 알게 되었고 공부하며 한 번 정리해보았다. multiprocessing 모듈은 threading 모듈과 유사한 API를 사용하여 process spawning(OS가 다른 프로세스의 요청에 의해 자식 프로세스를 생성하는 기술)을 지원한다. multiprocessing package는 local과 원격 동시성을 모두 제공하며 thread 대신 subprocess를 사용하여 global interpreter lock(한 번에 오직 하나의 thread가 파이썬 byte code를 실행하도록 보장하기 위해 CPython 인터프..
매번 코드를 보다보면 느끼는 거지만 기본이 너무 중요한 것 같다. numpy에서 slicing을 어떻게 하는지 직관적으로 다시 이해하기 위하여 여러 실험을 진행해보았다. 좀 까다로운 2 dimension, 3 dimension array에서 slicing하는 것을 실험해보았다. 다시는 잊어버리지 말자! 2 dimension이든 3 dimension이든 slicing에서 잊지 말아야할 규칙은 가장 첫번째 인자가 가장 바깥의 array를 slicing한다는 것이다. 이후는 순차적으로 접근을 하면 된다. 실험을 통해 살펴보자. 2 dimension 첫번째 인자를 1:3으로 slicing을 하였고 두번째 인자를 0:2로 slicing을 진행하였다. 그림으로 살펴보면 다음과 같다. 먼저 첫번째 slicing(1:..
오늘 오전 Fundermental 노드와 오후에 풀잎스쿨을 하며 모두 클래스와 모듈에 관한 이야기가 나왔고, 저녁에 Exploration 노드를 하며 코드에도 사용되었기에 개념을 한 번 정리해두어야 겠다는 생각이 들었다. 클래스 (주로 PascalCase 컨벤션으로 클래스명을 작성 ) 클래스는 프로그래밍으로 객체(=특정대상)을 찍어내기 위한 일종의 틀이다. 여러 개의 함수들이 클래스 안에서 정의될 수 있고 클래스에서 불러올 수 있다. 주의: 물론 함수 안에도 함수를 정의할 수 있지만, 함수 안의 함수는 소속된 함수 안에서 밖에 쓰이질 못한다. 클래스 안에는 데이터와 같은 속성(주로 변수)과 기능과 같은 메소드(주로 함수)가 존재한다. 하지만 클래스는 특정 개념만 표현할 뿐이고 인스턴스를 생성하여 객체로 ..
RNN의 적용방법에는 다양한 방법이 있다. 이들 중 감성분류에 쓰이는 many to one 방법(빨간색)과 주어진 단어들을 토대로 작문에 쓰이는 many to many 방법(연두색)에서 padding 방식을 pre와 post 어느 것으로 하면 좋을지 직관적으로 생각해보았다. 먼저 padding을 RNN 에서 사용되는 의미로 간단히 말하자면 각각의 입력(token, sequence 등등)의 길이가 모두 같지 않기에 이를 맞춰주기 위해 0을 넣어주는 작업이라고 생각하면 좋다. 여기서 앞에서 0을 넣어주는 방식이 pre 방식이고 뒤에서 넣어주는 방식이 post방식이다. 아래에 예시 코드와 결과이다. # Padding from tensorflow.keras.preprocessing.text import Toke..
어제 GUI로만 보던 우분투를 CLI도 구경해보고 Xorg를 kill도 해보아서 그런지 아니면 vi로 README.md파일을 수정하다가 다른 파일들을 나도 모르게 건드려서 인건지 몰라도 노트북이 로그인 무한루프에 빠져버렸다... 그래서 당분간은 colab을 사용할 예정인데 이번 노드의 프로젝트가 한국어를 자연어 처리해야 하여 konlpy를 사용하고 데이터를 불러와야했다. 여기서 문제가 생기는데 1. colab에 konlpy 라이브러리가 안 깔려있다. 2. colab에서 데이터를 어떻게 불러오는 것인가? (colab 자체에 올리는 방법 말고?) 이 두 가지를 중점으로 글을 써보려 한다. 1. colab에 konlpy 라이브러리가 안 깔려있다. 1) 먼저, colab에서 프롬프트(쉘) 명령어를 줄 수가 있었..
https://programmers.co.kr/learn/courses/2> 함수와 변수 스코프 변수: 한 곳에서 정의된 변수가 어디까지 유효한지 정의된 범위 전역 스코프: 어디에서든 참조할 수 있는 변수 지역 스코프: 함수 내에서만 참조할 수 있는 등 특정 구역에서만 참조할 수 있는 변수 매개변수: 주어진 인자를 받는 변수 *주의: 매개변수를 지정한 함수는 매개변수가 없을 시 오류가 발생 *추가: 매개변수가 받을 값을 지정해주면 default값을 넣어주어도 값이 나옴 def say_hi_default(var1='value1'): print('print, ' + var1 + '!') 함수의 결과로 값을 반환할 때 식을 바로 print하면 에러가 나기 때문에 함수로 정의한 후 함수값을 프린트에 리턴하도록 ..