히비스서커스의 블로그

※이 내용들은 (KAIST Open Online Course)의 인공지능 및 기계학습 개론 1 Chap. 3강 내용을 기반으로 재구성하였음을 먼저 밝힙니다.※ 여러 개 feature를 가진 X가 주어졌을 때 label Y를 어떻게 결정할 것인가에 대해 우리는 아래의 예시를 가정하여 Classifier를 생각해보았다. 이번에는 Optimal Classifier 중에서 가장 간단한 모델인 Naive Bayes Classifier에 대해 알아보자. Dataset 위의 자료에 대해 다음과 같음을 먼저 배운 바가 있다. X :: Sky ~ Forecst Y :: EnjoySpt D :: Dataset (위의 표에서 X와 Y를 제외한 나머지 관측값들 전체) Optimal Classifier는 아래의 식을 만족해야했..

※이 내용들은 (KAIST Open Online Course)의 인공지능 및 기계학습 개론 1 Chap. 3강 내용을 기반으로 재구성하였음을 먼저 밝힙니다.※ Supervised learning은 실제 정답을 알고 있는 문제에 대해 모델이 정답을 잘 맞추도록 학습시키는 것이다. 이를 잘 평가하기 위해 Optimal Classification이라는 개념을 도입해보자. Optimal Classification 먼저 확률변수 $X$와 $Y$만으로 이루어진 결합분포를 생각해보자. $X$를 Feature로 $Y$를 label이라고 보면 우리는 $X$가 주어졌을 때 우리의 모델이 예측한 값$f(X) = \hat{y}$이 실제 값$Y$이 아닐 확률을 최소화 시켜주고 싶다. 이를 식으로 나타내보자면, $f^{*} = ..

※이 내용들은 (KAIST Open Online Course)의 인공지능 및 기계학습 개론 1 Chap. 2강 내용을 기반으로 재구성하였음을 먼저 밝힙니다.※ Linear Regression :: 가설을 함수의 형태로 앞서 categorical dataset을 예측하기 위해 decision tree를 배울 때 가설을 decision tree로 만들 수 있었다. 이제 numerical dataset을 예측하기 위해 Linear Regression을 배워볼텐데 가설을 함수의 형태로 만들어보자. $\hat{f}(x; \theta) = \theta_{0} + \sum_{i=1}^{n} \theta_{i} x_{i} = \sum_{i=0}^{n} \theta_{i} x_{i}$ 가설의 함수에 대한 두 개의 관점이..

※이 내용들은 (KAIST Open Online Course)의 인공지능 및 기계학습 개론 1 Chap. 2강 내용을 기반으로 재구성하였음을 먼저 밝힙니다.※ 지난시간 배운 것 :: Rule based machine learning 딸 아이가 밖에서 나가서 놀 것인지 아닌지를 판별하는 모델을 만들어보았었다. 하지만 이것은 퍼펙트 월드에서만 적용되므로 현실성이 없었다. 현실 문제는 항상 에러가 존재한다. 에러가 있는 것을 판별하는 방법 중 하나가 Decision Tree이다. 2021.03.31 - [Statistics/Machine_Learning] - [기계학습 2강] Rule Based Machine Learning [기계학습 2강] Rule Based Machine Learning ※이 내용들은 (..

※이 내용들은 (KAIST Open Online Course)의 인공지능 및 기계학습 개론 1 Chap. 2강 내용을 기반으로 재구성하였음을 먼저 밝힙니다.※ Perfect World :: 머신러닝 모델이 잘 수행되기 위해 가정하는 완벽한 상황 1. 관측의 에러가 없으며 일관적이지 않은 관측도 없다. 2. 예측지 못한 효과가 없다. 3. 결과를 예측하는 변수들만으로 결과를 완벽하게 설명할 수 있다. Function Approximation :: Perfect World 가정 하에 Target Function을 Hypothesis하는 것 Instance (X) : 하나의 관측값 Feature : Label을 예측하기 위한 변수 Label : 실제 결과 Training Dataset (D) : Instanc..

※이 내용들은 (KAIST Open Online Course)의 인공지능 및 기계학습 개론 1 Chap. 1강 내용을 기반으로 재구성하였음을 먼저 밝힙니다.※ MLE 떠올려보기 이전 MLE($P(D | \theta)$)에서는 동전이 앞면 나올 확률$P(\theta)$을 고정된 값(= 분포를 따르지 않는 상수의 값)이나 알지 못하는 값으로 가정하고 동전을 던져 나온 결과들을 토대로 가장 그럴듯한(= 가장 높은 가능도를 가지는) 값으로 추정하는 방식이었다. 2021.03.24 - [Statistics/Machine_Learning] - [기계학습 1강] MLE(Maximum Likelihood Estimation) [기계학습 1강] MLE(Maximum Likelihood Estimation) ※이 내용들은..

※이 내용들은 (KAIST Open Online Course)의 인공지능 및 기계학습 개론 1 Chap. 1강 내용을 기반으로 재구성하였음을 먼저 밝힙니다.※ MLE (Maximum Likelihood Estimation)은 어떤 시행에 대한 확률을 고정된 값이나 알지 못하는 값으로 가정하고, 시행과 연관된 사건의 결과를 확률에 기반하여 가장 그럴듯한 값으로 추정하는 방식을 말한다. 이를 쉽게 이해하기 위해 동전던지기에 관한 예시로 살펴보자. 먼저 알아둘 것 동전을 던져 나오는 결과가 앞 또는 뒤만 나오는 것처럼 성공 혹은 실패와 같은 이분적인 결과만을 나오는 사건을 베르누이 시행이라고 한다. 이 베르누이 시행을 n번 시행하여 성공한 횟수k를 확률변수로 한 분포는 Binomial Distribution이..

시계열 분석에 평가할 수 있는 지표들을 정리해보기로 하였다. 이들은 전부 기계학습의 회귀문제에서 손실함수로 사용될 수 있는 지표들이다. 위의 개념들을 알아보기 전에 SST와 SSR, SSE부터 알아보자. 이 개념들은 실제 값에 회귀의 개념을 도입하였을 때 나오는 개념들이다. 놀랍게도 아래와 같은 식은 성립한다. SST(실제 관측값과 관측값의 평균값 차이의 제곱 합) = SSR(회귀식으로 예측한 값과 평균값 차이의 제곱 합) + SSE(실제 관측값과 회귀식으로 예측한 값 차이의 제곱 합) 여기서, SSR과 SSE가 가지는 의미를 간단히 살펴보자. SSR은 추정된 회귀식으로 설명이 되는 부분, SSE는 설명이 안되는 부분이다. 우리는 회귀식을 통해 실제 값을 예측하고 싶은 것이기 때문에 SSR은 크고 SSE..