Home

아핀 변환 (Affine Transformation)

행렬을 이용해 물체를 평행이동 시켜주는 변환은 수학적으로 어떻게 기술될 수 있을까? Prerequisites 본 포스트를 잘 이해하기 위해선 아래의 내용에 대해 알고 오는 것이 좋습니다. 벡터의 기본 연산(상수배, 덧셈) 행렬과 선형변환 복습 벡터란 공간 상의 한 점으로 생각할 수 있다고 했다. 벡터를 표현할 때 위치와 방향성을 모두 고려하여 화살표로 나타낼 수도 있지만, 수 많은 벡터를 한번에 표시하기에는 너무 복잡해질 수 있으므로 위치만 표시하기도 한다. 그림 1. 벡터는 화살표로 표시하기도 하지만 점으로 표시할 수 있다. 만약 2차원 평면 상에 표시된 점들...

Read more

Mahalanobis Distance

※ In this post, vectors are represented using “row vectors” as the default direction. For more detailed explanation of this, please refer to the first section “Data representation using row vectors”. Prerequisites To better understand this post, it is recommended that you be familiar with the following content: Matrix and Linear Transforma...

Read more

마할라노비스 거리

※ 본 포스팅에서는 벡터의 기본 방향을 “행벡터”로 보고 작성하였습니다. 이에 대한 더 자세한 설명은 첫 꼭지 “행벡터를 기본 방향으로 하는 데이터 표현” 챕터를 읽어주십시오. Prerequisites 본 포스트를 잘 이해하기 위해선 아래의 내용에 대해 알고 오는 것이 좋습니다. 행렬과 선형변환 공분산 행렬에 대한 더 친절한 설명이 필요한 경우 아래의 포스트를 확인하십시오. 주성분 분석(PCA) 행벡터를 기본 방향으로 하는 데이터 표현 수학에서 벡터를 표현할 때 열벡터를 기본 방향으로 보는 것이 더 통용되는 방법이다. 다시 말해, 임의의 $n$ 차원 벡터 $x$는 다음과 같이 표현하는 것...

Read more

Chernoff Bound

Prerequisites To fully understand this post, it is recommended that you have knowledge of the following: Markov and Chebyshev Inequalities Proof Chernoff’s inequality has different forms for the lower-tail version and upper-tail version. In this post, we will introduce the proof process. Lower-Tail Chernoff Bound Let $X$ be the sum of ...

Read more

체르노프 유계(Chernoff Bound)

prerequisites 본 포스트를 잘 이해하기 위해선 아래의 내용에 대해 알고 오는 것이 좋습니다. 마르코프 부등식과 체비셰프 부등식 증명 Chernoff 부등식은 Lower-tail 버전과 Upper-tail 버전의 형태가 다르다. 아래에서는 증명 과정을 소개하고자 한다. Lower-Tail Chernoff Bound $X$가 $N$ 개의 독립적인 랜덤변수의 합이라고 하자. 또, 이때 이 랜덤 변수들은 베르누이 분포를 따르며 $p_i$의 확률로 1의 값을 갖는다고 하자. \[X = \sum_{i=1}^{N}X_i\] 이 때, 임의의 $\delta\in (0, 1)$에 대해 다음이 성립한다...

Read more

Markov Inequality and Chebyshev Inequality

Markov’s Inequality Markov’s inequality is an inequality that holds for non-negative random variables. The definition of Markov’s inequality is as follows: Let $X$ be a non-negative random variable and let $\alpha\gt 0$1 be any constant that satisfies the condition. Then, the following inequality holds: \[P(X\geq \alpha) \leq E[X]/\alpha\] T...

Read more

마르코프 부등식과 체비셰프 부등식

마르코프 부등식 (Markov Inequality) 마르코프 부등식은 음수가 아닌 랜덤 변수에 대해 성립하는 부등식이다. 마르코프 부등식의 정의부터 보면 다음과 같다. $X$가 음수가 아닌 값을 가지는 랜덤 변수라고 했을때, $\alpha\gt 0$1를 만족하는 임의의 상수 $\alpha$에 다음이 성립한다. \[P(X\geq \alpha) \leq E[X]/\alpha\] 위 식의 의미를 간단히 살펴보기 위해 아래의 그림을 보도록 하자. 그림 1. 마르코프 부등식이 의미하는 것은 전체 데이터 분포에서 기댓값을 기준으로 랜덤변수 $x$가 어떤 극값 $\alpha$ 보다 클 확률에 관한 것이...

Read more

Sampling Continuous Signal to Discrete Signal

※ Please check this post for the proof of Shannon-Nyquist sampling theory. Comparison of the difference between the continuous signal (white) and the restored signal by sampling (blue) Relationship between continuous signals, discrete signals, and digital signals These days, digital devices are ubiquitous. We use MP3 players instead of cass...

Read more