Home

※ In this post, vectors are represented using “row vectors” as the default direction. For more detailed explanation of this, please refer to the first section “Data representation using row vectors”. Prerequisites To better understand this post, it is recommended that you be familiar with the following content: Matrix and Linear Transforma...

※ 본 포스팅에서는 벡터의 기본 방향을 “행벡터”로 보고 작성하였습니다. 이에 대한 더 자세한 설명은 첫 꼭지 “행벡터를 기본 방향으로 하는 데이터 표현” 챕터를 읽어주십시오. Prerequisites 본 포스트를 잘 이해하기 위해선 아래의 내용에 대해 알고 오는 것이 좋습니다. 행렬과 선형변환 공분산 행렬에 대한 더 친절한 설명이 필요한 경우 아래의 포스트를 확인하십시오. 주성분 분석(PCA) 행벡터를 기본 방향으로 하는 데이터 표현 수학에서 벡터를 표현할 때 열벡터를 기본 방향으로 보는 것이 더 통용되는 방법이다. 다시 말해, 임의의 $n$ 차원 벡터 $x$는 다음과 같이 표현하는 것...

Prerequisites To fully understand this post, it is recommended that you have knowledge of the following: Markov and Chebyshev Inequalities Proof Chernoff’s inequality has different forms for the lower-tail version and upper-tail version. In this post, we will introduce the proof process. Lower-Tail Chernoff Bound Let $X$ be the sum of ...

prerequisites 본 포스트를 잘 이해하기 위해선 아래의 내용에 대해 알고 오는 것이 좋습니다. 마르코프 부등식과 체비셰프 부등식 증명 Chernoff 부등식은 Lower-tail 버전과 Upper-tail 버전의 형태가 다르다. 아래에서는 증명 과정을 소개하고자 한다. Lower-Tail Chernoff Bound $X$가 $N$ 개의 독립적인 랜덤변수의 합이라고 하자. 또, 이때 이 랜덤 변수들은 베르누이 분포를 따르며 $p_i$의 확률로 1의 값을 갖는다고 하자. \[X = \sum_{i=1}^{N}X_i\] 이 때, 임의의 $\delta\in (0, 1)$에 대해 다음이 성립한다...

Markov’s Inequality Markov’s inequality is an inequality that holds for non-negative random variables. The definition of Markov’s inequality is as follows: Let $X$ be a non-negative random variable and let $\alpha\gt 0$1 be any constant that satisfies the condition. Then, the following inequality holds: \[P(X\geq \alpha) \leq E[X]/\alpha\] T...

마르코프 부등식 (Markov Inequality) 마르코프 부등식은 음수가 아닌 랜덤 변수에 대해 성립하는 부등식이다. 마르코프 부등식의 정의부터 보면 다음과 같다. $X$가 음수가 아닌 값을 가지는 랜덤 변수라고 했을때, $\alpha\gt 0$1를 만족하는 임의의 상수 $\alpha$에 다음이 성립한다. \[P(X\geq \alpha) \leq E[X]/\alpha\] 위 식의 의미를 간단히 살펴보기 위해 아래의 그림을 보도록 하자. 그림 1. 마르코프 부등식이 의미하는 것은 전체 데이터 분포에서 기댓값을 기준으로 랜덤변수 $x$가 어떤 극값 $\alpha$ 보다 클 확률에 관한 것이...

※ Please check this post for the proof of Shannon-Nyquist sampling theory. Comparison of the difference between the continuous signal (white) and the restored signal by sampling (blue) Relationship between continuous signals, discrete signals, and digital signals These days, digital devices are ubiquitous. We use MP3 players instead of cass...

※ 섀넌-나이퀴스트의 샘플링 이론의 증명은 이 포스팅을 확인하세요. 샘플링 전 연속 신호(흰색)와 샘플링하여 복원한 신호(파란색)의 차이 비교 연속 신호, 이산 신호, 디지털 신호의 관계 요즘에는 디지털 기기가 보편화 되었다. 카세트 테이프 보다는 MP3 플레이어를 사용하게 되었고, 종이책과 e-book이 공존하며, 아날로그 TV 방송이 모두 디지털 방송으로 전환되었다. 일상 생활에서 디지털 기기는 ‘편의성을 고려했다’ 혹은 ‘최신 기술이 적용되었다’는 이미지가 많이 떠오른다. 그만큼 연구가 많이 이루어졌고, 실생활과 맞닿아 있는 유용한 기술이라 할 수 있다. 디지털 신호 처리 과목에서는 이러한 디지털...