고윳값 분해(eigen-value decomposition)

※ 시각화와 이해의 편의를 도모하기 위해 벡터와 행렬이 정의되는 체(field)는 실수(real number)로 한정함. 원래의 선형변환 $A$ EVD를 이용해 세 개의 단계로 분해한 선형변환 $A$EVD는 기존의 선형변환을 '돌리기','늘리기','돌리기'의 세 과정으로 분해해서 생각할 수 있게 해준다. Prerequisites 해당 post를 잘 이해하기 위해선 아래의 내용에 대해 알고 오시는 것이 좋습니다. 행렬과 선형변환 고윳값과 고유벡터 배경 지식 행렬은 벡터들의 모음 $n$개의 $n$차원 벡터 $a_i\in \Bbb{R}^{n \times 1} \text{ for } i = 1...

더보기

4개 주요 부분 공간의 관계

※ 시각화와 이해의 편의를 도모하기 위해 벡터와 행렬이 정의되는 체(field)는 실수(real number)로 한정함. Fundamental Matrix Subspaces / Introduction to Linear Algebra(Gilbert Strang, 1993) Prerequisites 해당 post를 이해하기 위해선 다음의 내용에 대해 알고 오시는 것이 좋습니다. 벡터의 기본 연산 (상수배, 덧셈) 행렬 곱에 대한 또 다른 시각 행렬과 선형 변환 행렬은 선형변환이다 선형대수학과 관련해서 지금까지 다루어 왔던 많은 논의들은 “행렬은 선형변환이다“라는 내용을 기반으...

더보기

의사역행렬의 기하학적 의미

※ 의사역행렬의 정확한 이름은 무어-펜로즈 유사역행렬인 것으로 보이나 일반적으로 많이 쓰는 이름인 의사역행렬(pseudo inverse)를 이용하도록 하겠습니다. ※ 의사역행렬은 복소수-체의 범위에서 정의가능하나 이번 post에서는 실수-체 범위에서 설명하도록 하겠습니다. (시각화 목적 및 계산의 헷갈림 방지) ※ 의사역행렬은 기본적으로 선형회귀의 선형대수학적 접근에서 본 내용과 완전히 같은 approach를 가지고 접근합니다. Prerequisites 해당 포스트를 이해하기 위해선 아래의 내용에 대해 알고 오시는 것을 추천드립니다. 행벡터의 의미와 벡터의 내적: 특히, 쌍대공간의 개념 특이값 분...

더보기

선형대수와 푸리에 변환

Prerequisites 해당 포스트에 대해 이해하기 위해선 아래의 내용에 대해 알고 오시는 것이 좋습니다. 벡터의 기본 연산 행렬 곱에 대한 새로운 시각 오일러 공식의 기하학적 의미 푸리에 변환이란? 푸리에 변환은 신호의 주파수 분석을 수행할 때 이용된다. 조금 쉽게 예를 들면 톤이 매우 낮은 남자와 톤이 높은 여자가 동시에 말을 한다고 생각해보자. 이 때 우리가 듣게 되는 소리는 낮은 음과 높은 음이 섞인 신호 일 것이다. 여기서 우리가 알고싶은 정보는 다음과 같다. 낮은 음과 높은 음의 주파수 값은 어떻게 될까? (즉, 얼마나 높고 낮은지를 수치화 하고싶다는 의미) 낮은 ...

더보기

복소 고윳값과 고유벡터의 의미

Prerequisites 해당 포스트에 대해 이해하기 위해선 아래의 내용에 대해 알고 오시는 것이 좋습니다. 허수의 존재 의미에 대하여 자연상수 e의 의미 오일러 공식의 기하학적 의미 고윳값과 고유벡터의 기하학적 의미 회전 행렬의 고윳값과 고유벡터 \[A=\begin{bmatrix}\cos(\theta) && -\sin(\theta) \\ \sin(\theta) && \cos(\theta)\end{bmatrix}\] 가령 90도 시계반대방향으로 회전하는 행렬을 적용해 선형변환 한 결과는 다음과 같다. \[\begin{bmatrix} \cos(\pi/2) &a...

더보기

KL divergence

KL divergence가 말하는 것: 이상과 현실 간의 괴리 prerequisites 해당 포스팅의 내용에 대해 이해하시려면 아래의 내용에 대해 알고 오시는 것을 추천드립니다. 정보 엔트로피 크로스 엔트로피(cross entropy) 본 포스팅의 주제인 KL-divergence에 대해 설명하기에 앞서 KL divergence를 이해하기 위해 꼭 필요한 개념인 크로스 엔트로피에 대해 먼저 알아보고자 한다. 크로스 엔트로피는 한마디로 하면 ‘예측과 달라서 생기는 깜놀도(즉 정보량)’라고 할 수 있다. 이를 조금 더 자세하게 알기 위해 우선 출력가능한 결과물이 두 가지인 경우(binary case...

더보기

정보 엔트로피(information entropy)

정보란 무엇인가? 공부를 하다보면 용어에 막히는 경우가 종종 있다. 특히, 필자의 경우에는 통계학을 공부하면서 용어에서 많은 벽을 느꼈던 것 같다. 가령 귀무가설 같은 용어는 너무 생소하다보니 그 용어를 익히는데 애를 먹었던 좋은 예라고 할 수 있을 것 같다. 그런데, 이번 포스트에서 말하고자 하는 ‘정보’는 오히려 평소에 너무 자주 사용하는 용어이다보니 공부하는데 애를 먹게한 경우라고 할 수 있을 것 같다. 정보란 무엇일까? 여러가지 관점에서 ‘정보’를 해석할 수 있겠다. 가령, 데이터베이스의 관점에서는 정보란 데이터를 쉽게 사용할 수 있도록 가공한 것을 의미한다. 이 관점은 다분히 computer ...

더보기

사비츠키-골레이(Savitzky-Golay) 필터

그림 1. smoothing 효과가 있는 Savitzky-Golay 필터! (진지) Prerequisites 이번 포스팅을 이해하기 위해선 다음의 지식이 선행 학습되어야 합니다. Discrete Time 신호의 Convolution Convolution 연산 impulse response에 대한 개념 FIR 필터 행렬 연산에 관한 기초 지식 (행렬곱, 역행렬 등) impulse response와 신호의 합성곱(convolution) 본 포스팅을 이해하기 위해선 impulse response에 대한 이해가 매우 필수적이다. 필요한 경우 짧게나마 ...

더보기