중심극한 정리의 증명에 필수적인 배경지식

확률 변수의 합과 확률 밀도함수의 convolution

독립적인 random variables X와 Y를 생각해보자. 이 때, X와 Y의 확률질량함수를 라고 하자.

이 때, 로 정의되는 새로운 random variable 를 생각해보자. 임의의 정수 에 대해서 random variable 의 realization을 라고 하고, 임의의 정수 에 대해서 일 때, 라는 관계식이 성립하기 위해서는 일 수 밖에 없다. 사건의 관점에서 보면

가 성립해야하며, 이제 모든 정수 에 대해 인 확률은 다음과 같이 결정할 수 있다.

따라서, 독립적인 random variables 와 의 합인 의 확률질량함수는 다음과 같이 나타낼 수 있다.

위와 같은 논리를 이용하여, n개의 독립적인 random variables 에 대하여 n개의 random variables의 합을 로 나타낼 수 있으며, 이것은 이라고 표현할 수 있다. 따라서 무수한 independent random variables의 합에 대한 확률질량함수(pmf)를 convolution을 이용해 구할 수 있다.

더 나아가 연속적인 random variables 와 에 대해서 다음이 성립한다. 와 의 확률밀도함수를 각각 와 라고 하자. 이 때, 와 는 모든 실수에 대해서 정의되어 있다.

이 때, 의 확률밀도함수는 두 확률밀도함수의 convolution으로 표현할 수 있다.

characteristic function

신호처리에서 푸리에 변환은 시간 함수를 시간 도메인에서 주파수 도메인으로 변환시켜주는 역할을 하고, 역 푸리에 변환은 주파수 도메인의 함수를 시간 도메인으로 변환시켜주는 역할을 한다. 또, 시간 영역의 함수와 그 쌍인 주파수 영역의 함수는 1:1 매핑을 이룬다.

통계학에서는 이러한 관계를 이용하여 characteristic function이라는 개념을 만들었는데, 이것은 수학적으로 역 푸리에 변환과 동일한 식을 가지며, 푸리에 변환이 가지고 있는 성질들을 그대로 이어받으며, 통계학에서만 활용되는 pdf의 moment와 관련된 개념과 연관시켜 사용되기도 한다.

확률통계학에서 임의의 random variable 에 대한 characteristic function은 다음과 같이 정의한다.

임의의 확률 밀도 함수 에 대한 characteristic function은

characteristic function의 성질 중 CLT의 증명에 필요한 것을 꼽자면 다음과 같다.

① 각각의 Random Variable들은 고유(unique)의 characteristic function을 가진다. 즉, Random Variable 하나와 그에 상응하는 characteristic function은 1:1 mapping 관계를 가진다.

② 서로 독립인 개의 Random Variables 에 대해 다음이 성립한다. 위에서 독립 Random variables의 합의 pdf는 convolution으로 나타난다고 했다. 따라서 characteristic function의 domain에서 각각의 독립적인 random variable들의 합의 characteristic function은 각각의 독립적인 random variables의 characteristic function의 곱으로 나타낼 수 있다.

한편 맥클로린 급수를 이용하면 를 다음과 같이 풀어서 생각할 수 있다.

이 때 는 네 번째 이후의 항을 합쳐서 생각한 것이다. 그러면 characteristic function을 계산하는 것은 pdf의 moment를 계산하는 것과 연관되게 된다. 다음을 보도록 하자. 임의의 확률 밀도 함수 에 대하여,

와 같다.

Central Limit Theorem의 증명

모집단으로부터 추출된 임의의 개의 sample을 라고 하자. 그러면 sample mean은

이다. 그러면 의 기댓값은 다음과 같다.

또, 의 분산은 다음과 같다.

이 때, 을 정규화 시킨 변수를 이라고 하면,

여기서 이므로 이고 이다.

그러면 는 다음과 같이 계산할 수 있게 된다.

다시 여기서

인데, 랜덤 변수의 합은 확률 밀도 함수에서는 convolution으로 표현된다는 사실을 앞에서 확인했다. characteristic function을 자세히 보면 이것은 역 푸리에 변환과 같은 모양을 가지고 있다는 것 또한 확인할 수 있는데, 신호 처리 이론에서 주파수 대역에서의 함수의 convolution은 시간 대역에서는 해당 함수의 시간 변환의 곱으로 표현된다는 것을 알고 있다.

따라서 은 들의 합으로 구성되어 있고, 이것은 의 컨볼루션으로 나타날 것이며, 다시 한 번 characteristic function의 domain에서는 characteristic function들의 곱으로 표현할 수 있다. 따라서 다음이 성립한다.

이 때, 이 무한히 커지는 경우를 상정하자.

그러면 은 보다 더 빨리 0으로 수렴한다는 사실을 알 수 있다. 따라서, 위 극한은 다음으로 수렴하게 된다.

한편, 평균이 0이고 표준편차가 1인 가우시안 분포의 characteristic function이 인데, characteristic function은 하나의 Random Variable과 1:1 매핑 관계를 가지고 있으므로 표본 평균의 분포는 가우시안 분포를 가지게 된다.