ROC curve

x축은 이진 분류기에 의해 결정된 score가 표시된 것으로 생각할 수 있음. 빨간색과 파란색의 정규분포로 표현한 종모양의 분포들은 데이터 샘플들의 실제 클래스를 나타냄 왼쪽 패널에 있는 흰색 바는 마우스 드래그로 움직일 수 있으며, 클래스를 분류하기 위해 사용자가 결정하는 threshold임. ROC(Receiver Operating Characteristic) curve는 다양한 threshold에 대한 이진분류기의 성능을 한번에 표시한 것이다. 이진 분류의 성능은 True Positive Rate와 False Positive Rate 두 가지를 이용해서 표현하게 된다. ROC curve를 한 마디로 ...

더보기

나이브 베이즈 분류기

시작하기에 앞서… 본 article에서는 나이브 베이즈 분류기의 작동 원리를 우선 파악하고, 그 수식을 얻게해준 배경 이론에 대해 추가적으로 이해해보고자 한다. 나이브 베이즈(naive Bayes) 분류기는 베이즈 정리를 이용해 만든 확률 분류기의 일종이다. 나이브 베이즈 분류기를 이해하기 위해서는 베이즈 정리의 수식보다는 베이즈 정리의 철학을 제대로 이해하는 것이 핵심적이다. 본 article을 더 잘 이해하기 위해선 아래의 내용에 대해 숙지하고 오는 것이 좋다. likelihood에 관한 이론: 최대우도법 소개 편 또한, 베이즈 정리에 대해 알고오면 더 도움이 될것이다. Bayes’ R...

더보기

중적분의 의미

중적분의 의미. 함수 아래에 있는 부피들을 잘게 쪼개서 더해주자. ※ 함수 곡면 아랫부분의 값만을 이용해 부피를 계산해주어 적분값보다는 추정 부피값이 작습니다. 정적분의 개념으로부터 출발 중적분의 개념은 여러가지 방식으로 이해할 수 있겠으나, 가장 시각적으로 이해하기 쉬운 넓이/부피의 계산에 관련된 내용으로부터 출발해보자. 고등학교 시절 구분구적법을 이용해 정적분의 개념을 익혔을 것이다. 그림 1은 구분구적법을 이용해 함수 곡선 아래의 넓이를 구해주는 과정을 보여주고 있다. 그림 1. 구분구적법을 이용해 함수 f(x) 아래의 넓이를 구해주는 과정을 통해 정적분의 개념을 얻었다....

더보기

자코비안(Jacobian) 행렬의 기하학적 의미

※ Jacobian matrix의 정식 한글 명칭은 ‘야코비 행렬’인 것으로 보이나 통상적으로 많이 사용하는 ‘자코비안 행렬’로 부르고자 합니다. ※ 본 article에서는 열벡터(column vector) convention을 따릅니다. ※ 본 포스팅은 Grant Sanderson의 Khan Academy Jacobian 강의로부터 대부분의 내용을 차용했음을 밝힙니다. Khan Academy 영상 출처: https://www.khanacademy.org/math/multivariable-calculus/multivariable-derivatives/jacobian/v/jacobian-prerequisite-...

더보기

라플라스 변환과 z-변환의 관계

s-plane에서 z-plane으로의 변화 슬라이더를 움직여 보세요 ^^ 라플라스 변환과 z-변환 ※ 이 꼭지는 Z 변환 포스트의 Z-변환과 라플라스 변환 꼭지에서 가져왔습니다. Z-변환은 라플라스 변환의 discrete time 버전이라고 할 수 있다. 라플라스 변환의 식에서 시간 sampling을 해줌으로써 Z-변환을 얻어보자. 연속시간 신호$x(t)$에 대해 라플라스 변환은 다음과 같이 정의된다. \[\mathfrak{L}\left[x(t)\right] = X(s) = \int_{0^{-}}^{\infty}x(t) e^{-st}dt\] 여기서 연속시간 신호 $x(t)$를 시간 샘...

더보기

최대우도법(MLE)

어떤 평균값을 갖는 확률밀도로 부터 이 샘플들이 추출되었을까? adapted from the Seeing Theory's amazing visualization of MLE 최대우도법의 정의 최대우도법(Maximum Likelihood Estimation, 이하 MLE)은 모수적인 데이터 밀도 추정 방법으로써 파라미터 $\theta = (\theta_1, \cdots, \theta_m)$으로 구성된 어떤 확률밀도함수 $P(x|\theta)$에서 관측된 표본 데이터 집합을 $x = (x_1, x_2, \cdots, x_n)$이라 할 때, 이 표본들에서 파라미터 $\theta = (\the...

더보기

독립 성분 분석 (ICA)

Prerequisites 아래의 내용에 대해 잘 알고 오는 것을 추천드립니다. 중심극한정리의 의미 추천 JS Applet: Seeing Theory 최대우도법(Maximum Likelihood Estimation) 관련 내용 추천 Youtube 비디오: StatQuest 위 영상 정리 blog: BetterThanWholwas 추천 JS Applet: Seeing Theory Gradient Descent(혹은 Gradient Ascent) ICA 모델과 목적 위키피디아에 따르면 독립 성분 분석(Indep...

더보기

오일러 공식의 기하학적 의미

슬라이더를 움직여 보세요 ^^ 오일러 공식이란 우선 오일러 공식을 직접 써보도록 하자. \[e^{i\theta} = \cos(\theta) + i\sin(\theta)\] 식 (1)에서 볼 수 있듯이 오일러 공식은 여러가지 요소들이 혼합되어 있는데, 그 중 가장 독특한 것은 허수 승수라고 할 수 있을 것 같다. 이번 article에서는 이 복잡해 보이기만 하는 수식의 의미에 대해서 알아보도록 하자. 기하학적 의미 오일러 공식을 들여다보면 자연상수 $e$, 허수 $i$, 삼각함수 $\cos, \sin$가 들어있음을 알 수 있다. 처음 보기에는 허수 승수가 있는 좌변으로부터 어떤 정보를 알기는 어렵기에...

더보기