Home

※ Wold’s theorem은 위너-킨친 정리의 Discrete Time Random Signal 버전이라고 할 수 있다. 1. Discrete Time Random Signal의 Power Spectrum Density (PSD) ※ 해당 내용은 Richard Shiavi의 Introduction to applied statistical signal analysis, 3e.pp.203 - 205 의 내용을 옮겨 적은 것임. Wide-sense stationary random signal의 푸리에 변환을 생각할 때의 가장 큰 문제점은 푸리에 변환이 존재하지 않는다는 것이다. 다시 말해 $X(f)$가 존재하기...

1. Random Process and Fourier Transform The Continuous Time Fourier Transform (CTFT) is defined as follows: \[G(\omega) = \int_{-\infty}^{\infty}g(t)\exp(-j\omega t)dt\] where $\exp(-j\omega t) = \cos\omega t - j \sin \omega t$. The condition for the existence of the Fourier Transform $G(\omega)$ is called the Dirichlet Condition, and it is ...

1. Random Process와 Fourier Transform Continuous Time Fourier Transform(이하 CTFT)는 다음과 같이 정의된다. \[G(\omega) = \int_{-\infty}^{\infty}g(t)\exp(-j\omega t)dt\] where $\exp(-j\omega t) = \cos\omega t - j \sin \omega t$ 이 때, Fourier Transform $G(\omega)$가 존재할 수 있는 조건은 Dirichlet Condition이라고 불리며, 그 조건은 다음과 같다. 1) $g(t)$ is absolutely integrable, t...

Geoffrey Hinton mentioned in an interview with Andrew Ng that if he had to name the most proud achievement in his career as a researcher, it would be the research results using RBM. Hinton’s contribution using RBM demonstrated how important it is to initialize deep neural networks. This is because the success or failure of how effectively deep ...

Geoffrey Hinton은 Andrew Ng과의 인터뷰에서 지금까지의 연구자로써의 인생에서 가장 자랑스러운 것을 꼽으라고 한다면 RBM을 이용한 연구성과를 꼽는다고 말한 바 있다. RBM을 이용해서 Hinton이 기여한 것은 딥 뉴럴네트워크의 초기화가 얼마나 중요한 것인지 밝혀낸 것이다. 어떻게 초기화를 하는지가 딥 뉴럴네트워크가 효과적으로 학습되는지의 성패를 좌우할 수 있기 때문이다. RBM은 generative model로 데이터들의 latent factor들을 확률적인 방법으로 얻어낼 수 있는 모델이다. 이번 post에서는 RBM이 어떤 방식으로 작동하는지 알아보고자 한다. Prerequisite...

When performing a line integral, some vector fields show the same result regardless of the path. This is called path independence. If a vector field is the gradient of some scalar function F, then it is said to be path-independent. This is a result that naturally follows from the fundamental theorem of calculus. Let’s now explore the meaning of ...

line integral을 할 때 어떤 벡터장은 path에 상관없이 같은 결과를 보여준다. path independence의 결과는 그 벡터장이 어떤 스칼라 함수 $F$의 gradient 일 때 path-independent하다고 말한다. 그러한 결과는 미분적분학의 기본정리에 의해 당연히 그렇게 나와야 하는 결과이다. 이제부터 이 말의 의미가 무엇인지 알아보도록 하자. 증명 방식과 내용은 Khan academy의 Youtube 영상을 참고했다. 1. 보존장 (conservative field) 그림 1 어떤 벡터장에서 임의의 시작점과 끝점이 같은 세 curves, $C_1$, $C_2, $C_...

This post is a summary of a lecture by Professor Patrick H. Winston from MIT, which can be found at here. 1. Representing Hyperplanes using Vectors in n-dimensional Space A hyperplane is defined as “a subspace of one dimension less than its ambient space” 1. In other words, in an n-dimensional space, a hyperplane represents a subspace of dime...