스칼라장의 기울기(gradient)

편미분 우리는 이제 multivariate calculus로 들어가고자 한다. 지금까지는 독립변수 하나에 종속 변수가 하나인 함수에 대해서 미분을 해왔지만, multivariate calculus에서는 독립변수가 여러개에 종속변수도 여러 개일 수 있다. 우선은 독립 변수가 2개이고 종속 변수가 하나인 가장 단순한 형태까지만 확장한 multivariate function을 보도록 하자. 쉬운 예로 다음과 같은 함수를 생각할 수 있다. \[f(x,y) = x^2+xy+y^2\] 이 함수를 MATLAB을 이용해 plot하면 다음과 같이 그릴 수 있다. 그림 1. f(x,y) = x^2 + x...

더보기

벡터장의 발산(divergence)

Divergence와 Curl은 벡터장에서 적용되는 연산자인데 우선 벡터장(vector field)이란 유클리드 공간의 각 점에 벡터를 대응시킨 것이라고 할 수 있다. 유체의 흐름, 중력장 등 각 점에서의 크기와 방향을 나타내기 위해 사용한다. (위키피디아, 벡터장) Divergence (발산) Divergence는 벡터장 내에서 임의의 한 점 $(x,y)$의 매우 작은 공간 안에서 벡터장이 퍼져 나오는지 아니면 모여서 없어지는지의 정도를 측정하는 연산자이다. 부족하지만 내 생각으로는 해당 임의의 점 $(x,y)$에서 벡터장이 향하는 방향으로의 정규화시킨 변화량을 확인한 것이라고도 생각할 수 있을 것 같다....

더보기

벡터장의 회전(curl)

회전 (curl) 위키피디아에서 Curl은 ‘3차원 벡터장을 다른 3차원 벡터장으로 대응시키는 1차 미분 연산자의 하나이다.’라고만 정의되어 있는데 이런 수학적으로는 맞을지 몰라도 처음 보는 이로 하여금 도저히 납득할 수 없도록 만드는 정의로는 curl에 대한 어떤 것도 알기 힘들다. 필자가 생각하는 Curl의 수학적 정의는 다음과 같다. 물론 엄밀한 수학적 정의는 아닐 것이다. ‘Curl은 벡터장 내에서 임의의 한 점 의 매우 작은 공간이 주변의 벡터로 인해 발생하는 회전 정도를 측정하는 연산자이다.’ 또 다른 방식으로 생각해보면 ‘임의의 점 $(x,y)$에서 벡터장이 향하는 정규화 시킨 수직 방향으로의 변...

더보기

상관계수는 벡터의 내적이다.

상관 계수의 용도와 정의 상관 계수는 연속적으로 변하는 두 변수 간의 (상관) 관계를 확인하고 싶을 때 사용할 수 있다. 가령 몸무게와 키의 상관 관계라던지, 수학 점수와 영어 점수 간의 상관관계 같은 것들을 확인할 수 있다. 연속적으로 변하는 두 변수 간의 관계는 시각적으로도 확인할 수도 있는데 두 개의 연속적으로 변하는 n개의 변수 쌍을 각각 x 축과 y 축에 대입해서 그리면 산점도(scatter plot)를 그릴 수 있다. 예를 들어 아래는 500명 학생의 수학, 영어 점수의 산점도를 그린 것이다. 그림 1. 산점도의 예시 plot. 수학 점수와 영어 점수 간의 양의 상관 관계가 보인...

더보기

Layer-wise Relevance Propagation

Deep Nerual Network Transparency 뉴럴네트워크는 전통적으로 “Blackbox” 모델로 생각되어 왔다. 필자 생각에는 그 이유는 크게 두 가지로 보인다. 우선은 뉴럴네트워크가 본래부터 비선형 회귀모델이다보니 입력과 출력간의 관계가 선형적이지 못해 입력이 출력에 어떻게 영향을 주는지 직접적으로 알기 어렵기 때문이다. 또, 최근 들어 딥러닝 기술이 발전하면서 부터는 모델이 스스로 복잡도가 높은 feature에서 분류/회귀에 필요한 feature를 잘 선택할 수 있게되었기 때문에 개발자가 직접 feature를 생성하지 않아도 되었기 때문이다. 이러한 상황속에서 뉴럴네트워크의 성능은 나날이 좋아...

더보기

Z 변환

Z-변환이 말하는 것: 이산 신호(정확히는 시스템)의 특성을 Z-plane에 한번에 표현해보고 싶다. 빨간색 마커를 마우스로 움직여 보세요 ^^ Z-변환의 정의 및 유도 과정 DEFINITION 1. Z-변환 이산신호 $x[n]$에 대하여 아래와 같은 변환을 Z-변환이라 한다.$$Z\left[x[n]\right] = \sum_{n=-\infty}^{\infty}x[n]z^{-n}$$ 여기서 $z$ 는 복소수 Z-변환은 좁게는 선형 차분 방정식(Linear Difference Equation)을 쉽게 풀 수 있게 만들어 주...

더보기

라플라스 변환

라플라스 변환이 말하는 것: 신호(정확히는 시스템)의 특성을 s-plane에 한번에 표현해보고 싶다. (빨간 포인터를 마우스로 움직여 보세요!) 라플라스 변환 라플라스 변환의 정의 라플라스 변환은 라플라스가 1785년에 고안해낸 함수 변환 기법이고, 라플라스 변환 역시 푸리에 변환처럼 적분 변환의 일종이다. 라플라스 변환의 수학적 정의를 보자. DEFINITION 1. 라플라스 변환 함수 $f$가 $t\geq 0$에 대해 정의된 함수라고 하자. 이 때, 아래의 적분 변환은 함수 $f$의 라플라스 변환이라 한다. $$ \mathfr...

더보기

힐버트 변환

힐버트 변환이 필요한 이유 힐버트 변환이 필요한 이유에 대해 설명하기 위해서는 힐버트 변환이 하는 역할이 무엇인지, 그리고 그 역할을 수행함으로써 얻을 수 있는 결과는 무엇인지 파악하는 것이 중요한 과정일 것이라는 생각이 든다. 먼저, 힐버트 변환의 역할은 일종의 선형 필터로써 신호의 amplitude는 유지하되, phase만 $-\frac{\pi}{2}$만큼 shift 시켜주는 것이다. (음의 주파수의 경우에는 $\pi/2$만큼 phase shift 시켜준다.) 그림 1. 힐버트 변환은 원 신호의 amplitude는 유지하고 phase를 -90' shift 시킨다. 힐버트 변환의 특성 ...

더보기