Home

GMM & EM Algorithm

Prerequisites To better understand this post, it is recommended that you know about the following: k-means algorithm Maximum Likelihood Estimation To fully understand the EM algorithm below, it is also recommended that you know about the following: The meaning of Bayes’ theorem Naive Bayes classifier It is recommended to focus o...

Read more

GMM과 EM 알고리즘

Prerequisites 이 포스트를 더 잘 이해하기 위해선 아래의 내용에 대해 알고 오시는 것을 추천드립니다. k-means 알고리즘 최대우도법(Maximum Likelihood Estimation) 아래의 EM 알고리즘까지 충분히 더 이해하시려면 이 내용도 알고오시는 것이 좋습니다. 베이즈 정리의 의미 나이브 베이즈 분류기 여기서 나이브 베이즈 분류기에 대해서는 Prior의 의미에 대해 집중적으로 이해하는 것을 추천합니다. GMM (Gaussian Mixture Model) [복습] 최대우도법을 이용한 정규분포 fitting 이전 최대우도법 시간에서는 어떤 데이터를 관찰하고 ...

Read more

k-means Algorithm

Clustering problem Machine learning can be broadly divided into supervised learning problems and unsupervised learning problems. One of the most commonly used applications in unsupervised learning is clustering. Clustering is the process of labeling groups of closely located data for a given set of training data $\lbrace x^{(1)},\cdots,x^{(m)}...

Read more

k-means 알고리즘

클러스터링 문제 머신러닝은 크게 지도학습 문제와 비지도학습 문제로 나눌 수 있다. 비지도학습에서 가장 자주 등장하는 응용 중 하나는 클러스터링이다. 클러스터링은 주어진 학습 데이터 $\lbrace x^{(1)},\cdots,x^{(m)}\rbrace$에 대하여 위치가 가까운 데이터들을 각자의 그룹으로 라벨을 지어주는 과정을 의미한다. 만약 아래의 그림 1과 같이 데이터들이 주어져있다고 해보자. 이 때, 각 데이터들은 라벨이 주어져 있지는 않은 상태라고 생각해보자. 그림 1. 라벨이 주어져 있지 않은 데이터셋. 이 데이터셋을 두 개의 클러스터로 나누면 어떻게 그룹핑 하는 것이 좋을까? ...

Read more

Type-1 and Type-2 Error

When studying statistics, one encounters many new terms, among which are the representative terms of type I error and type II error. Although there is no specific meaning derived from the numbers, they seem to have been named as type I and type II in order to distinguish them. Type I error refers to the error that occurs when the null hypothes...

Read more

1종 오류와 2종 오류

통계학을 공부하면서 많은 새로운 용어들과 만나게 된다. 그 중 1종 오류와 2종 오류가 대표적인 새로운 용어라고 할 수 있다. 특별히 숫자로부터 얻는 의미는 없지만 이름을 구별하기 위해 1종(type I), 2종(type II)라고 붙여놓은 것으로 보인다. 1종 오류는 귀무가설이 참인데 잘못 기각할 때 발생하는 오류를 말한다. 2종 오류는 귀무가설이 거짓인데 기각하지 않았을 때 발생하는 오류를 말한다. 이러한 정의를 생각해본다면, 우리는 ‘귀무가설’이라는게 무엇인지부터 정확히 짚고 넘어가는 것이 좋을 것 같아 보인다. 또, ‘잘못 기각’이라는 말과 ‘잘못 채택’이라는 말을 어떻게 이해하면 좋을지에 대해서도...

Read more

Meaning of Confidence Interval

An example of a confidence interval frequently used in daily life A confidence interval may seem like a complex concept at first glance, but it is also widely used in everyday life. For example, if you answered a KakaoTalk message asking “When will you arrive?” with “It will take about 10-15 minutes,” while riding a bus on the way home, you a...

Read more

신뢰 구간의 의미

일상 생활에서도 종종 사용되는 신뢰 구간의 예시 신뢰 구간은 처음 보기에 복잡해 보이는 개념이지만, 일상에서도 많이 쓰고 있는 것이기도 하다. 가령, 버스를 타고 집에가는 길에 “언제쯤 도착이야?”라는 카톡에 대한 답변으로 “10-15분 정도 걸릴 것 같아”라고 답변했다면, 우리는 10에서 15사이라는 신뢰구간을 사용하고 있는 것이다. 10에서 15사이라는 값은 지금까지 내가 여러번 이 버스를 타봤을 때 걸리는 시간의 평균값으로부터 얻어졌을 것이다. 그럼 왜 12.5분이라는 정확한 값을 말하지 않고 “10-15분 정도 걸린다”라고 말할까? 그것은 불확실성이 내포되어 있기 때문일 것이다. 따라서, 내가 그...

Read more