Home

Non-negative Matrix Factorization(NMF)

Prerequisites To understand this post, it is recommended that you have a good understanding of the following topics: Principal Component Analysis (PCA) Singular Value Decomposition (SVD) Independent Component Analysis (ICA) Gradient Descent Although Independent Component Analysis may be difficult to understand, it is not necessary t...

Read more

Non-negative Matrix Factorization(NMF)

Prerequisites 이번 포스팅을 이해하기 위해선 아래의 내용에 대해 잘 알고 오시는 것을 추천드립니다. 주성분분석(PCA) 특이값분해(SVD) 독립성분분석(ICA) 경사하강법(gradient descent) 독립성분분석은 내용이 어려운 편이기 때문에 꼭 다 이해하실 필요는 없습니다만, 주성분분석과 경사하강법은 알고오시는 것을 추천드립니다. NMF의 정의 음수 미포함 행렬 분해(Non-negative Matrix Factorization, NMF)는 음수를 포함하지 않는 행렬 $X$를 음수를 포함하지 않는 행렬 $W$와 $H$의 곱으로 분해하는 알고리즘이다 수식으로 표현하자면 다음...

Read more

Variational AutoEncoder

※ This post is written using the results and source code of the GAN deep learning project in an art museum, available at http://www.yes24.com/Product/Goods/81538614 (in Korean). ※ The source code for this post can be found in Haesun Park’s GitHub repo. Prerequisites To understand this post, it is recommended that you have knowledge about the ...

Read more

Variational AutoEncoder

※ 이 포스팅은 미술관에 GAN 딥러닝 실전 프로젝트의 결과와 소스 코드를 이용해 작성한 것임을 밝힙니다. ※ 이 포스팅의 소스 코드는 박해선 님의 깃허브 레포에서 확인하실 수 있습니다. Prerequisites 해당 포스팅을 이해하기 위해선 다음의 내용에 대해 알고 오시는 것을 추천드립니다. AutoEncoder 정보 엔트로피 KL divergence 오토 인코더 짧게 복습 Variational AutoEncoder(VAE)는 기본적으로 AutoEncoder(AE)의 형태를 그대로 유지하고 있다. 따라서, VAE를 잘 이해하기 위해선 AE의 특성을 잘 파악하고, 어떤 부분에서 AE의 한...

Read more

AutoEncoder

※ This post is written using the results and source code of the GAN deep learning project in an art museum, available at http://www.yes24.com/Product/Goods/81538614 (in Korean). ※ The source code for this post can be found in Haesun Park’s GitHub repo. In this post, we will discuss AutoEncoders (AE), which were one of the foundational concepts...

Read more

오토인코더(AutoEncoder)

※ 이 포스팅은 미술관에 GAN 딥러닝 실전 프로젝트의 결과와 소스 코드를 이용해 작성한 것임을 밝힙니다. ※ 이 포스팅의 소스 코드는 박해선 님의 깃허브 레포에서 확인하실 수 있습니다. 이번 시간에는 RBM과 함께 딥러닝 이론 구축의 근간이 되었던 개념 중 하나인 AutoEncoder(이하 AE)에 대해 알아보고자 한다. Restricted Boltzmann Machine(이하 RBM)과 AE는 거의 유사한 목표를 갖고 있다. 둘의 목표는 모두 hidden layer에서 input layer(혹은 visible layer)의 데이터에 관한 latent factor들을 얻어내는 것이다. 이 말이 조금 어렵게...

Read more

Wold's theorem

※ Wold’s theorem can be thought of as the Discrete Time Random Signal version of the Wiener-Kinchin Theorem. 1. The Power Spectrum Density (PSD) of Discrete Time Random Signals ※ The contents of this article is from Introduction to applied statistical signal analysis, 3e. by Richard Shiavi pp.203 - 205 The biggest problem when considering the...

Read more

월드 정리(Wold's theorem)

※ Wold’s theorem은 위너-킨친 정리의 Discrete Time Random Signal 버전이라고 할 수 있다. 1. Discrete Time Random Signal의 Power Spectrum Density (PSD) ※ 해당 내용은 Richard Shiavi의 Introduction to applied statistical signal analysis, 3e.pp.203 - 205 의 내용을 옮겨 적은 것임. Wide-sense stationary random signal의 푸리에 변환을 생각할 때의 가장 큰 문제점은 푸리에 변환이 존재하지 않는다는 것이다. 다시 말해 $X(f)$가 존재하기...

Read more