히비스서커스의 블로그

※이 내용들은 edwith(KAIST Open Online Course)의 인공지능 및 기계학습 개론 1 Chap. 5강 내용을 기반으로 재구성하였음을 먼저 밝힙니다.※ Decision Boundary를 설정하는데 있어서 우리는 Sigmoid Function이 Bayes risk가 적으므로 더 좋다는 것을 배웠었다. Decision Boundary는 모델의 성능을 결정하는 아주 중요한 요소이다. 이제 확률론을 근거하여 Decision Boundary에 접근해보자. Decision Boundary with Probability 위의 그림에서 빨간점과 파란점을 구분하는 Decision Boundary을 선형으로 긋는다고 하였을 때 당연히 우리는 빨간점과 파란점 사이에 선을 그을 것이다. 하지만 그 선들 중에..

※이 내용들은 edwith(KAIST Open Online Course)의 인공지능 및 기계학습 개론 1 Chap. 4강 내용을 기반으로 재구성하였음을 먼저 밝힙니다.※ 우리는 앞서 Naive Bayes Classifier와 Logistic Regression classifier 를 살펴보았다. 이 둘 사이의 관계를 이번 시간에 알아보도록 하자. 먼저 Naive Bayes를 Logistic Regression으로 근사시키는 방법을 알아보고, 후에 Naive Bayes와 logistice Regression을 비교해보자. Naive Bayes to Logistic Regression Naive Bayes의 Classifier Function는 범주형 Feature들에 대해서 다루었을 때 Feature들이 ..

※이 내용들은 edwith(KAIST Open Online Course)의 인공지능 및 기계학습 개론 1 Chap. 4강 내용을 기반으로 재구성하였음을 먼저 밝힙니다.※ Finding $\theta$ with Gradient Ascent 우리는 이전에 Logistic Regression에서 $\hat{\theta} = argmax_{\theta} \prod_{1 \leq i \leq N} P(Y_i | X_i ; \theta)$ 와 같이 \theta$를 얻기 위하여 아래와 같이 $ f(\theta) = \sum_{1 \leq i \leq N} log( P(Y_i | X_i ; \theta))$ $ \frac{\partial f(\theta)}{\partial \theta_j} = \frac{\partia..

※이 내용들은 edwith(KAIST Open Online Course)의 인공지능 및 기계학습 개론 1 Chap. 4강 내용을 기반으로 재구성하였음을 먼저 밝힙니다.※ 저번 시간에 이어 Logistic Regression을 최적화하는 $\hat{\theta}$는 closed form solution이 아니라 open form solution이었다. 이를 approximate하게 구하기 위해서는 Gradient Descent Algorithm을 통해 해결해야 한다. Gradient Descent Algorithm에서 가장 접근하기 쉬운 것이 Taylor Expansion이다. 테일러 급수는 어떤 점에서 무한 번 미분가능한 함수를 그 점에서 미분계수 값으로 계산할 수 있는 무한급수로 표현된 함수로 나타내는..

※이 내용들은 (KAIST Open Online Course)의 인공지능 및 기계학습 개론 1 Chap. 4강 내용을 기반으로 재구성하였음을 먼저 밝힙니다.※ 저번 시간에 이어 이번에는 Sigmoid function 중 하나인 Logistic Function에 관하여 알아보자. 먼저 Sigmoid function이 가지는 특징에 대하여 살펴보면 경계를 가진다. 차별화할 수 있다. (부드럽게 되어 있어) 실제 함수이다. 모든 실제 입력값에 대해 정의된다. x들은 -에서 +에 되어 있고 combine되어 있어야 한다. 양의 미분값을 가진다. (증가함수여야 한다.) Logistic Function 은 결과값이 0과 1 사이의 값을 가지는 함수이다. Logistic Function의 역함수는 Logit Func..

블로그 소개 안녕하세요. 히비스서커스입니다. 히비스서커스의 의미 Hibiscus는 중국에서 "(개인적인 ) 명예/미/영광의 덧없음" 즉, "완벽"을 상징합니다. 또한,Circus의 어원은 "순환하다"에서 비롯되었습니다. 히비스서커스(HibisCircus)는 Hibiscus와 Circus의 합성어로 "하루가 다르게 변하는 현 시대에 완벽함의 기준이 빠르게 변화한다" 라는 의미를 부여해 보았습니다. 이러한 시대 속 저는 끊임없이 배우고 현 시대의 필요에 맞게 적응해보려고 합니다. "It is not the strongest of the species that survive, nor the most intelligent, but the one most responsive to change." -Charles ..

※이 내용들은 (KAIST Open Online Course)의 인공지능 및 기계학습 개론 1 Chap. 4강 내용을 기반으로 재구성하였음을 먼저 밝힙니다.※ 저번 시간에 살펴본 Opitmal Classification model에 대해 다시 살펴보자. X의 특정 포인트 $X_1$에서의 Y의 값은 T라는 Class를 가질 때 확률이 a(> 0.5)라고 하자. 이때 Y의 값이 나머지 F라는 Class를 가질 때의 확률은 1-a( 0.5이므로) F라고도 분류할 수 있는 것(1-a < 0.5 인 것이지 확률이 0이기 아니기 때문)이다. 이제 실선의 Classifier와 점선의 Class..

※이 내용들은 (KAIST Open Online Course)의 인공지능 및 기계학습 개론 1 Chap. 3강 내용을 기반으로 재구성하였음을 먼저 밝힙니다.※ 여러 개 feature를 가진 X가 주어졌을 때 label Y를 어떻게 결정할 것인가에 대해 우리는 아래의 예시를 가정하여 Classifier를 생각해보았다. 이번에는 Optimal Classifier 중에서 가장 간단한 모델인 Naive Bayes Classifier에 대해 알아보자. Dataset 위의 자료에 대해 다음과 같음을 먼저 배운 바가 있다. X :: Sky ~ Forecst Y :: EnjoySpt D :: Dataset (위의 표에서 X와 Y를 제외한 나머지 관측값들 전체) Optimal Classifier는 아래의 식을 만족해야했..