히비스서커스의 블로그

※이 내용들은 (KAIST Open Online Course)의 인공지능 및 기계학습 개론 1 Chap. 3강 내용을 기반으로 재구성하였음을 먼저 밝힙니다.※ Supervised learning은 실제 정답을 알고 있는 문제에 대해 모델이 정답을 잘 맞추도록 학습시키는 것이다. 이를 잘 평가하기 위해 Optimal Classification이라는 개념을 도입해보자. Optimal Classification 먼저 확률변수 $X$와 $Y$만으로 이루어진 결합분포를 생각해보자. $X$를 Feature로 $Y$를 label이라고 보면 우리는 $X$가 주어졌을 때 우리의 모델이 예측한 값$f(X) = \hat{y}$이 실제 값$Y$이 아닐 확률을 최소화 시켜주고 싶다. 이를 식으로 나타내보자면, $f^{*} = ..

※이 내용들은 (KAIST Open Online Course)의 인공지능 및 기계학습 개론 1 Chap. 2강 내용을 기반으로 재구성하였음을 먼저 밝힙니다.※ Linear Regression :: 가설을 함수의 형태로 앞서 categorical dataset을 예측하기 위해 decision tree를 배울 때 가설을 decision tree로 만들 수 있었다. 이제 numerical dataset을 예측하기 위해 Linear Regression을 배워볼텐데 가설을 함수의 형태로 만들어보자. $\hat{f}(x; \theta) = \theta_{0} + \sum_{i=1}^{n} \theta_{i} x_{i} = \sum_{i=0}^{n} \theta_{i} x_{i}$ 가설의 함수에 대한 두 개의 관점이..

※이 내용들은 (KAIST Open Online Course)의 인공지능 및 기계학습 개론 1 Chap. 2강 내용을 기반으로 재구성하였음을 먼저 밝힙니다.※ 지난시간 배운 것 :: Rule based machine learning 딸 아이가 밖에서 나가서 놀 것인지 아닌지를 판별하는 모델을 만들어보았었다. 하지만 이것은 퍼펙트 월드에서만 적용되므로 현실성이 없었다. 현실 문제는 항상 에러가 존재한다. 에러가 있는 것을 판별하는 방법 중 하나가 Decision Tree이다. 2021.03.31 - [Statistics/Machine_Learning] - [기계학습 2강] Rule Based Machine Learning [기계학습 2강] Rule Based Machine Learning ※이 내용들은 (..

※이 내용들은 (KAIST Open Online Course)의 인공지능 및 기계학습 개론 1 Chap. 2강 내용을 기반으로 재구성하였음을 먼저 밝힙니다.※ Perfect World :: 머신러닝 모델이 잘 수행되기 위해 가정하는 완벽한 상황 1. 관측의 에러가 없으며 일관적이지 않은 관측도 없다. 2. 예측지 못한 효과가 없다. 3. 결과를 예측하는 변수들만으로 결과를 완벽하게 설명할 수 있다. Function Approximation :: Perfect World 가정 하에 Target Function을 Hypothesis하는 것 Instance (X) : 하나의 관측값 Feature : Label을 예측하기 위한 변수 Label : 실제 결과 Training Dataset (D) : Instanc..

※이 내용들은 (KAIST Open Online Course)의 인공지능 및 기계학습 개론 1 Chap. 1강 내용을 기반으로 재구성하였음을 먼저 밝힙니다.※ MLE 떠올려보기 이전 MLE($P(D | \theta)$)에서는 동전이 앞면 나올 확률$P(\theta)$을 고정된 값(= 분포를 따르지 않는 상수의 값)이나 알지 못하는 값으로 가정하고 동전을 던져 나온 결과들을 토대로 가장 그럴듯한(= 가장 높은 가능도를 가지는) 값으로 추정하는 방식이었다. 2021.03.24 - [Statistics/Machine_Learning] - [기계학습 1강] MLE(Maximum Likelihood Estimation) [기계학습 1강] MLE(Maximum Likelihood Estimation) ※이 내용들은..

오늘은 통계학의 가장 중요한 개념이라고 할 수 있는 중심극한정리에 대해서 알아보도록 하겠습니다. 단순히 '많이 뽑으면 정규분포를 따르는 것 아니야?' 라고 생각하실 수 있지만,심층적 의미를 알아보려면 좀 더 디테일하게 살펴볼 필요가 있습니다. 이번 포스팅을 통하여 어디서 무엇을 많이 뽑는 것이고 어떤 것이 어떠한 형태의 정규분포를 따르게 되는 것인지 명확하게 알게 되셨으면 좋겠습니다. 모집단과 표본집단 먼저 모집단과 표본집단에 대해서 알아볼 필요가 있습니다. 모집단이란 우리가 관심있는 대상 전체를 말합니다. 표본집단이란 모집단으로부터 추출된 모집단의 부분 집합이라고 할 수 있습니다. 예를 들어 생각해볼까요? 우리가 대전사람들의 평균 키를 구하고 싶다고 해봅시다. 여기서 모집단은 대전에 주민등록이 되어있는..

※이 내용들은 전적으로 stanford university의 CS231n 2017 Midterm문제와 Solution을 참조하여 작성하였음을 먼저 밝힙니다. 도움을 주신 아이펠 대전 1기 CS231n 풀잎스쿨 분들께 감사를 표합니다.※ 1~2번 문제는 다음의 블로그를 참조해주세요! https://shinest-programming.tistory.com/24 [cs231n]midterm 중간고사 풀이 2021.3.29 16:19 안녕하세요 프로그램밍을 배우는 빛나는 샤트입니다. 스탠포드 대학의 딥러닝 강의인 cs231n의 중간고사 풀이입니다. 문제와 풀이 pdf파일은 이 블로그 글의 하단의 github 링크에 있습 shinest-programming.tistory.com 3.1 Backpropagation..

※이 내용들은 (KAIST Open Online Course)의 인공지능 및 기계학습 개론 1 Chap. 1강 내용을 기반으로 재구성하였음을 먼저 밝힙니다.※ MLE (Maximum Likelihood Estimation)은 어떤 시행에 대한 확률을 고정된 값이나 알지 못하는 값으로 가정하고, 시행과 연관된 사건의 결과를 확률에 기반하여 가장 그럴듯한 값으로 추정하는 방식을 말한다. 이를 쉽게 이해하기 위해 동전던지기에 관한 예시로 살펴보자. 먼저 알아둘 것 동전을 던져 나오는 결과가 앞 또는 뒤만 나오는 것처럼 성공 혹은 실패와 같은 이분적인 결과만을 나오는 사건을 베르누이 시행이라고 한다. 이 베르누이 시행을 n번 시행하여 성공한 횟수k를 확률변수로 한 분포는 Binomial Distribution이..