히비스서커스의 블로그

정규화 방법으로 알려진 lasso에도 여러가지 방법이 존재한다. 그 중 lasso, group lasso, sparse group lasso 순으로 하나씩 살펴보자. lasso 일반적인 선형회귀식의 최소제곱법을 나타내보자. 샘플 수가 $n$, feature 수가 $p$일 때, response vector의 크기는 $n$ x $1$이고 feature들의 matrix는 $n$ x $p$, 회귀계수 벡터 $\beta$는 $p$ x $1$이 되어 다음과 같은 식으로 표기될 것이다. 이상적인 경우는 샘플 수 n이 feature 수 p 보다 충분히 큰 경우이다. 하지만 생물학 데이터의 경우는 p가 n보다 훨씬 더 큰 경우가 많아서 매우 곤란한 상황이 생긴다. 바로 차원의 저주(Curse of Dimensionali..

※이 내용들은 edwith(KAIST Open Online Course)의 인공지능 및 기계학습 개론 1 Chap. 5강 내용을 기반으로 재구성하였음을 먼저 밝힙니다.※ "Error" Cases in SVM 앞에서 살펴본 내용에서 우리는 아래의 그림과 같이 선형인 Decision boundary에서 hard margin을 사용했을 경우 발생하는 error들에 대한 방안으로 두 가지를 고려하였다. 첫번째 옵션 더욱 복잡한 (비선형의) Decision Boundary를 만들고 hard margin을 유지하는 방안 두번째 옵션 선형의 Decision Boundary를 유지하고 soft margin을 만들어 에러를 허용하는 방안 두번째 옵션에 대해서 먼저 살펴보자. 이를 위해 Error에 대한 페널티를 어떻게 ..

※이 내용들은 edwith(KAIST Open Online Course)의 인공지능 및 기계학습 개론 1 Chap. 5강 내용을 기반으로 재구성하였음을 먼저 밝힙니다.※ Decision Boundary를 설정하는데 있어서 우리는 Sigmoid Function이 Bayes risk가 적으므로 더 좋다는 것을 배웠었다. Decision Boundary는 모델의 성능을 결정하는 아주 중요한 요소이다. 이제 확률론을 근거하여 Decision Boundary에 접근해보자. Decision Boundary with Probability 위의 그림에서 빨간점과 파란점을 구분하는 Decision Boundary을 선형으로 긋는다고 하였을 때 당연히 우리는 빨간점과 파란점 사이에 선을 그을 것이다. 하지만 그 선들 중에..

※이 내용들은 edwith(KAIST Open Online Course)의 인공지능 및 기계학습 개론 1 Chap. 4강 내용을 기반으로 재구성하였음을 먼저 밝힙니다.※ 우리는 앞서 Naive Bayes Classifier와 Logistic Regression classifier 를 살펴보았다. 이 둘 사이의 관계를 이번 시간에 알아보도록 하자. 먼저 Naive Bayes를 Logistic Regression으로 근사시키는 방법을 알아보고, 후에 Naive Bayes와 logistice Regression을 비교해보자. Naive Bayes to Logistic Regression Naive Bayes의 Classifier Function는 범주형 Feature들에 대해서 다루었을 때 Feature들이 ..

※이 내용들은 edwith(KAIST Open Online Course)의 인공지능 및 기계학습 개론 1 Chap. 4강 내용을 기반으로 재구성하였음을 먼저 밝힙니다.※ Finding $\theta$ with Gradient Ascent 우리는 이전에 Logistic Regression에서 $\hat{\theta} = argmax_{\theta} \prod_{1 \leq i \leq N} P(Y_i | X_i ; \theta)$ 와 같이 \theta$를 얻기 위하여 아래와 같이 $ f(\theta) = \sum_{1 \leq i \leq N} log( P(Y_i | X_i ; \theta))$ $ \frac{\partial f(\theta)}{\partial \theta_j} = \frac{\partia..

※이 내용들은 edwith(KAIST Open Online Course)의 인공지능 및 기계학습 개론 1 Chap. 4강 내용을 기반으로 재구성하였음을 먼저 밝힙니다.※ 저번 시간에 이어 Logistic Regression을 최적화하는 $\hat{\theta}$는 closed form solution이 아니라 open form solution이었다. 이를 approximate하게 구하기 위해서는 Gradient Descent Algorithm을 통해 해결해야 한다. Gradient Descent Algorithm에서 가장 접근하기 쉬운 것이 Taylor Expansion이다. 테일러 급수는 어떤 점에서 무한 번 미분가능한 함수를 그 점에서 미분계수 값으로 계산할 수 있는 무한급수로 표현된 함수로 나타내는..

※이 내용들은 (KAIST Open Online Course)의 인공지능 및 기계학습 개론 1 Chap. 4강 내용을 기반으로 재구성하였음을 먼저 밝힙니다.※ 저번 시간에 이어 이번에는 Sigmoid function 중 하나인 Logistic Function에 관하여 알아보자. 먼저 Sigmoid function이 가지는 특징에 대하여 살펴보면 경계를 가진다. 차별화할 수 있다. (부드럽게 되어 있어) 실제 함수이다. 모든 실제 입력값에 대해 정의된다. x들은 -에서 +에 되어 있고 combine되어 있어야 한다. 양의 미분값을 가진다. (증가함수여야 한다.) Logistic Function 은 결과값이 0과 1 사이의 값을 가지는 함수이다. Logistic Function의 역함수는 Logit Func..

※이 내용들은 (KAIST Open Online Course)의 인공지능 및 기계학습 개론 1 Chap. 4강 내용을 기반으로 재구성하였음을 먼저 밝힙니다.※ 저번 시간에 살펴본 Opitmal Classification model에 대해 다시 살펴보자. X의 특정 포인트 $X_1$에서의 Y의 값은 T라는 Class를 가질 때 확률이 a(> 0.5)라고 하자. 이때 Y의 값이 나머지 F라는 Class를 가질 때의 확률은 1-a( 0.5이므로) F라고도 분류할 수 있는 것(1-a < 0.5 인 것이지 확률이 0이기 아니기 때문)이다. 이제 실선의 Classifier와 점선의 Class..