frequency transformation

본 포스팅은 IIT의 S. C. Duta Roy 교수님의 강의를 정리한 것임을 먼저 밝힙니다. 목표 Normalized Lowpass Filter의 개념에 대해서 이해한다. Filter간의 Transformation에 대하여 이해한다. Bandpass Filter 또는 Bandstop Filter의 기하평균적 특징(Geometrically symmetric property)에 대해서 이해하고, 그것이 가져오는 문제와 해결책에 대해서 이해한다. Filter Specification으로부터 Butterworth Filter, Chebyshev Fi...

더보기

체비세브 필터

본 포스팅은 IIT의 S. C. Duta Roy 교수님의 강의를 정리한 것임을 먼저 밝힙니다. 목표 Butterworth필터와 비교하여 Chebyshev 필터의 특징을 이해한다. Chebyshev Polynomial의 특징을 이해한다. Chebyshev 필터의 구현 조건인 $N$의 결정방법과 $\epsilon$의 결정 방법을 이해한다. 1. Chebyshev 필터의 특징 가. Introduction to Chebyshev Filter Chebyshev 필터는 Butterworth 필터와 마찬가지로 일종의 All-Pole 필터로써 기본적으로 Lowpass Filter를 설계할 수 있도록 만들어...

더보기

Momentum을 이용한 최적화기법 - ADAM

※ 본 포스팅은 Andrew Ng 교수님의 강의를 정리한 것임을 밝힙니다. Python 라이브러리를 이용한 딥러닝 학습 알고리즘에 관련된 tutorial들에서 거의 대부분 optimization을 수행할 때 Gradient Descent 대신에 ADAM Optimizer를 이용해 Optimziation을 하라고 한다. 과연 어떤 부분에서 ADAM이 Gradient Descent에 비해 좋길래 거의 대부분의 문헌에서 ADAM을 추천하고 있는지 그 배경에 대해 알아보도록 하자. Prerequisites 본 포스팅에 대해 이해하기 위해선 아래의 내용에 대해 알고 오시는 것이 좋습니다. 경사하강법(Gradi...

더보기

버터워스 필터

본 포스팅은 IIT의 S. C. Duta Roy 교수님의 강의를 정리한 것임을 먼저 밝힙니다. 1. Analog Filter 가. 일반적인 아날로그 시스템과 필터 일반적인 아날로그 필터를 생각하는 데에 앞서 일반적인 아날로그 시스템의 모양은 어떻게 모델링되는지 아는 것은 매우 중요하다고 할 수 있다. 그것은 아날로그 시스템의 모양이 결국은 아날로그 필터를 구성하는 모양으로 귀결되기 때문이기도 하고, 이 포스트에서의 ‘일반적인 아날로그 신호 혹은 시스템’이란 것이 어떤 것으로 한정되어 있는지 미리 설정해놓고 가는 것 역시 중요하다고 여기기 때문이다. 이 포스트에서 생각하는 일반적인 아날로그 시스템은 선형 시...

더보기

로지스틱 회귀

Prerequisites 본 포스팅의 내용에 대해 이해하기 위해선 아래의 내용에 대해 알고 오시는 것이 좋습니다. 경사하강법 선형회귀 (최적화 관점) 회귀에서 분류로… 선형회귀 (최적화 관점) 편에서 확인한 데이터들은 라벨 값(즉, 아래의 그림 1에서 사고 발생 건수)이 연속적인 것이었다. 그림 1. 선형회귀 모델 구축 시 이용한 연속적 라벨을 가지는 데이터 하지만 어떤 경우에는 다음과 같이 라벨이 범주형일 수도 있다. 라벨이 범주형이라는 것은 가령 “남자, 여자” 혹은 “강아지, 고양이” 등의 연속적인 숫자로 나타내기 어려운 데이터들을 얘기하고 보통 0 혹은 1로 숫자로 치...

더보기

미분방정식을 이용한 오일러 공식 유도

임의의 복소수 $x+iy$를 생각해보자. 여기서 $x$와 $y$는 실수라고 하자. 이 값은 극좌표계를 이용해 표현하면 다음과 같이 표현할 수도 있다. 원점에서 $x, y$까지의 거리가 $r$이고 $x$축과 이루는 각도가 $\theta$라고 했을 때, \[x+iy = r\cos(\theta) + i r\sin(\theta)\] 이다. 그림 1. 복소평면 상의 점 하나는 복소수 하나를 표현한다. 여기서 $r=1$인 경우를 상정해 이 값을 $z$라고 하도록 하자. \[z = \cos(\theta) + i \sin(\theta)\] 이 $z$라는 값은 반지름이 1인 단위 원 상의 점이 된...

더보기

Markov Chain Monte Carlo

Interactive MCMC JS Applet by Chi-Feng, 소스코드 prerequisites 이 포스팅에 대해 잘 이해하기 위해선 다음의 내용에 대해 알고 오시는 것이 좋습니다. Rejection Sampling likelihood의 의미 MCMC의 정의 위키피디아에 따르면 마르코프 연쇄 몬테카를로 방법(Markov Chain Monte Carlo, MCMC)은 “마르코프 연쇄의 구성에 기반한 확률 분포로부터 원하는 분포의 정적 분포를 갖는 표본을 추출하는 알고리즘의 한 분류이다.”라고 나와있다. 복잡해보이지만 우선 MCMC는 샘플링 방법 중 하나인 것이라는 것만 알고있도록 하...

더보기

Rejection Sampling

확률 분포로부터 샘플 추출 uniform distribution이나 정규분포의 샘플은 컴퓨터를 이용하면 코드 한 줄이면 추출할 수 있다. MATLAB의 경우는 아래와 같은 코드를 이용할 수 있다. uniform_sample = rand(1,1) normal_sample = randn(1,1) 그런데, 임의의 수식을 가진 확률밀도함수로부터 랜덤한 샘플을 추출하려면 어떻게 해야할까? Rejection Sampling 대략적인 수식을 알고 있는 어떤 확률밀도함수가 있다고 하자. 가령 아래와 같은 함수 $f(x)$를 생각해볼 수 있다. \[f(x) = 0.3\exp\left(-0.2x^2\right) +...

더보기