Non-negative Matrix Factorization(NMF)

Prerequisites 이번 포스팅을 이해하기 위해선 아래의 내용에 대해 잘 알고 오시는 것을 추천드립니다. 주성분분석(PCA) 특이값분해(SVD) 독립성분분석(ICA) 경사하강법(gradient descent) 독립성분분석은 내용이 어려운 편이기 때문에 꼭 다 이해하실 필요는 없습니다만, 주성분분석과 경사하강법은 알고오시는 것을 추천드립니다. NMF의 정의 음수 미포함 행렬 분해(Non-negative Matrix Factorization, NMF)는 음수를 포함하지 않는 행렬 $X$를 음수를 포함하지 않는 행렬 $W$와 $H$의 곱으로 분해하는 알고리즘이다 수식으로 표현하자면 다음...

더보기

Variational AutoEncoder

※ 이 포스팅은 미술관에 GAN 딥러닝 실전 프로젝트의 결과와 소스 코드를 이용해 작성한 것임을 밝힙니다. ※ 이 포스팅의 소스 코드는 박해선 님의 깃허브 레포에서 확인하실 수 있습니다. Prerequisites 해당 포스팅을 이해하기 위해선 다음의 내용에 대해 알고 오시는 것을 추천드립니다. AutoEncoder 정보 엔트로피 KL divergence 오토 인코더 짧게 복습 Variational AutoEncoder(VAE)는 기본적으로 AutoEncoder(AE)의 형태를 그대로 유지하고 있다. 따라서, VAE를 잘 이해하기 위해선 AE의 특성을 잘 파악하고, 어떤 부분에서 AE의 한...

더보기

AutoEncoder

※ 이 포스팅은 미술관에 GAN 딥러닝 실전 프로젝트의 결과와 소스 코드를 이용해 작성한 것임을 밝힙니다. ※ 이 포스팅의 소스 코드는 박해선 님의 깃허브 레포에서 확인하실 수 있습니다. 이번 시간에는 RBM과 함께 딥러닝 이론 구축의 근간이 되었던 개념 중 하나인 AutoEncoder(이하 AE)에 대해 알아보고자 한다. Restricted Boltzmann Machine(이하 RBM)과 AE는 거의 유사한 목표를 갖고 있다. 둘의 목표는 모두 hidden layer에서 input layer(혹은 visible layer)의 데이터에 관한 latent factor들을 얻어내는 것이다. 이 말이 조금 어렵게...

더보기

Wold's theorem

※ Wold’s theorem은 위너-킨친 정리의 Discrete Time Random Signal 버전이라고 할 수 있다. 1. Discrete Time Random Signal의 Power Spectrum Density (PSD) ※ 해당 내용은 Richard Shiavi의 Introduction to applied statistical signal analysis, 3e.pp.203 - 205 의 내용을 옮겨 적은 것임. Wide-sense stationary random signal의 푸리에 변환을 생각할 때의 가장 큰 문제점은 푸리에 변환이 존재하지 않는다는 것이다. 다시 말해 $X(f)$가 존재하기...

더보기

위너-킨친 정리

1. Random Process와 Fourier Transform Continuous Time Fourier Transform(이하 CTFT)는 다음과 같이 정의된다. \[G(\omega) = \int_{-\infty}^{\infty}g(t)\exp(-j\omega t)dt\] where $\exp(-j\omega t) = \cos\omega t - j \sin \omega t$ 이 때, Fourier Transform $G(\omega)$가 존재할 수 있는 조건은 Dirichlet Condition이라고 불리며, 그 조건은 다음과 같다. 1) $g(t)$ is absolutely integrable, t...

더보기

Restricted Boltzmann Machine

Geoffrey Hinton은 Andrew Ng과의 인터뷰에서 지금까지의 연구자로써의 인생에서 가장 자랑스러운 것을 꼽으라고 한다면 RBM을 이용한 연구성과를 꼽는다고 말한 바 있다. RBM을 이용해서 Hinton이 기여한 것은 딥 뉴럴네트워크의 초기화가 얼마나 중요한 것인지 밝혀낸 것이다. 어떻게 초기화를 하는지가 딥 뉴럴네트워크가 효과적으로 학습되는지의 성패를 좌우할 수 있기 때문이다. RBM은 generative model로 데이터들의 latent factor들을 확률적인 방법으로 얻어낼 수 있는 모델이다. 이번 post에서는 RBM이 어떤 방식으로 작동하는지 알아보고자 한다. Prerequisite...

더보기

벡터장과 path independence

line integral을 할 때 어떤 벡터장은 path에 상관없이 같은 결과를 보여준다. path independence의 결과는 그 벡터장이 어떤 스칼라 함수 $F$의 gradient 일 때 path-independent하다고 말한다. 그러한 결과는 미분적분학의 기본정리에 의해 당연히 그렇게 나와야 하는 결과이다. 이제부터 이 말의 의미가 무엇인지 알아보도록 하자. 증명 방식과 내용은 Khan academy의 Youtube 영상을 참고했다. 1. 보존장 (conservative field) 그림 1 어떤 벡터장에서 임의의 시작점과 끝점이 같은 세 curves, $C_1$, $C_2, $C_...

더보기

서포트 벡터 머신(SVM)

본 포스팅은 MIT의 Patrick H. Winston 교수님의 강의를 정리한 것임을 밝힙니다. 1. n-차원 공간에서 벡터를 이용한 hyperplane의 표현 hyperplane이란 ‘a subspace of one dimension less than its ambient space’로 정의된다.1 즉 n차원의 공간에서의 hyperplane은 n-1차원의 subspace를 의미하는 것이며, 3차원의 경우 hyperplane은 2차원의 면이 되고, 2차원의 경우는 hyperplane은 1차원의 선이된다. 복잡한 문제에 대해 쉽게 접근하기 위해 3차원과 2차원의 hyperplane의 방정식에 대해 생각해보고 이...

더보기