중심극한 정리의 증명에 필수적인 배경지식
확률 변수의 합과 확률 밀도함수의 convolution
독립적인 random variables X와 Y를 생각해보자. 이 때, X와 Y의 확률질량함수를 라고 하자.
이 때, 로 정의되는 새로운 random variable 를 생각해보자. 임의의 정수
에 대해서 random variable
의 realization을
라고 하고, 임의의 정수
에 대해서
일 때,
라는 관계식이 성립하기 위해서는
일 수 밖에 없다. 사건의 관점에서 보면
가 성립해야하며, 이제 모든 정수 에 대해
인 확률은 다음과 같이 결정할 수 있다.
따라서, 독립적인 random variables 와
의 합인
의 확률질량함수는 다음과 같이 나타낼 수 있다.
위와 같은 논리를 이용하여, n개의 독립적인 random variables 에 대하여 n개의 random variables의 합을
로 나타낼 수 있으며, 이것은
이라고 표현할 수 있다. 따라서 무수한 independent random variables의 합에 대한 확률질량함수(pmf)를 convolution을 이용해 구할 수 있다.
더 나아가 연속적인 random variables 와
에 대해서 다음이 성립한다.
와
의 확률밀도함수를 각각
와
라고 하자. 이 때,
와
는 모든 실수에 대해서 정의되어 있다.
이 때, 의 확률밀도함수는 두 확률밀도함수의 convolution으로 표현할 수 있다.
characteristic function
신호처리에서 푸리에 변환은 시간 함수를 시간 도메인에서 주파수 도메인으로 변환시켜주는 역할을 하고, 역 푸리에 변환은 주파수 도메인의 함수를 시간 도메인으로 변환시켜주는 역할을 한다. 또, 시간 영역의 함수와 그 쌍인 주파수 영역의 함수는 1:1 매핑을 이룬다.
통계학에서는 이러한 관계를 이용하여 characteristic function이라는 개념을 만들었는데, 이것은 수학적으로 역 푸리에 변환과 동일한 식을 가지며, 푸리에 변환이 가지고 있는 성질들을 그대로 이어받으며, 통계학에서만 활용되는 pdf의 moment와 관련된 개념과 연관시켜 사용되기도 한다.
확률통계학에서 임의의 random variable 에 대한 characteristic function은 다음과 같이 정의한다.
임의의 확률 밀도 함수 에 대한 characteristic function은
characteristic function의 성질 중 CLT의 증명에 필요한 것을 꼽자면 다음과 같다.
① 각각의 Random Variable들은 고유(unique)의 characteristic function을 가진다. 즉, Random Variable 하나와 그에 상응하는 characteristic function은 1:1 mapping 관계를 가진다.
② 서로 독립인 개의 Random Variables
에 대해 다음이 성립한다. 위에서 독립 Random variables의 합의 pdf는 convolution으로 나타난다고 했다. 따라서 characteristic function의 domain에서 각각의 독립적인 random variable들의 합의 characteristic function은 각각의 독립적인 random variables의 characteristic function의 곱으로 나타낼 수 있다.
한편 맥클로린 급수를 이용하면 를 다음과 같이 풀어서 생각할 수 있다.
이 때 는 네 번째 이후의 항을 합쳐서 생각한 것이다. 그러면 characteristic function을 계산하는 것은 pdf의 moment를 계산하는 것과 연관되게 된다. 다음을 보도록 하자. 임의의 확률 밀도 함수
에 대하여,
와 같다.
Central Limit Theorem의 증명
모집단으로부터 추출된 임의의 개의 sample을
라고 하자. 그러면 sample mean은
이다. 그러면 의 기댓값은 다음과 같다.
또, 의 분산은 다음과 같다.
이 때, 을 정규화 시킨 변수를
이라고 하면,
여기서 이므로
이고
이다.
그러면 는 다음과 같이 계산할 수 있게 된다.
다시 여기서
인데, 랜덤 변수의 합은 확률 밀도 함수에서는 convolution으로 표현된다는 사실을 앞에서 확인했다. characteristic function을 자세히 보면 이것은 역 푸리에 변환과 같은 모양을 가지고 있다는 것 또한 확인할 수 있는데, 신호 처리 이론에서 주파수 대역에서의 함수의 convolution은 시간 대역에서는 해당 함수의 시간 변환의 곱으로 표현된다는 것을 알고 있다.
따라서 은
들의 합으로 구성되어 있고, 이것은
의 컨볼루션으로 나타날 것이며, 다시 한 번 characteristic function의 domain에서는 characteristic function들의 곱으로 표현할 수 있다. 따라서 다음이 성립한다.
이 때, 이 무한히 커지는 경우를 상정하자.
그러면 은
보다 더 빨리 0으로 수렴한다는 사실을 알 수 있다. 따라서, 위 극한은 다음으로 수렴하게 된다.
한편, 평균이 0이고 표준편차가 1인 가우시안 분포의 characteristic function이 인데, characteristic function은 하나의 Random Variable과 1:1 매핑 관계를 가지고 있으므로 표본 평균의 분포는 가우시안 분포를 가지게 된다.