Home

Prerequisites 해당 포스트에 대해 이해하기 위해선 아래의 내용에 대해 알고 오시는 것이 좋습니다. 벡터의 기본 연산 행렬 곱에 대한 새로운 시각 오일러 공식의 기하학적 의미 푸리에 변환이란? 푸리에 변환은 신호의 주파수 분석을 수행할 때 이용된다. 조금 쉽게 예를 들면 톤이 매우 낮은 남자와 톤이 높은 여자가 동시에 말을 한다고 생각해보자. 이 때 우리가 듣게 되는 소리는 낮은 음과 높은 음이 섞인 신호 일 것이다. 여기서 우리가 알고싶은 정보는 다음과 같다. 낮은 음과 높은 음의 주파수 값은 어떻게 될까? (즉, 얼마나 높고 낮은지를 수치화 하고싶다는 의미) 낮은 ...

Prerequisites To understand this post, it is recommended that you have knowledge of the following: The meaning of the existence of imaginary numbers The meaning of the natural constant e The geometric meaning of Euler’s formula The geometric meaning of eigenvalues and eigenvectors Eigenvalues and eigenvectors of rotation matrices \...

Prerequisites 해당 포스트에 대해 이해하기 위해선 아래의 내용에 대해 알고 오시는 것이 좋습니다. 허수의 존재 의미에 대하여 자연상수 e의 의미 오일러 공식의 기하학적 의미 고윳값과 고유벡터의 기하학적 의미 회전 행렬의 고윳값과 고유벡터 \[A=\begin{bmatrix}\cos(\theta) && -\sin(\theta) \\ \sin(\theta) && \cos(\theta)\end{bmatrix}\] 가령 90도 시계반대방향으로 회전하는 행렬을 적용해 선형변환 한 결과는 다음과 같다. \[\begin{bmatrix} \cos(\pi/2) &a...

What KL divergence tells you: The Discrepancy Between Reality and Expectations prerequisites In order to understand the contents of this post, it is recommended that you have knowledge of the following: Information Entropy Cross Entropy Before delving into the topic of KL divergence, it is necessary to understand the concept of cross e...

KL divergence가 말하는 것: 이상과 현실 간의 괴리 prerequisites 해당 포스팅의 내용에 대해 이해하시려면 아래의 내용에 대해 알고 오시는 것을 추천드립니다. 정보 엔트로피 크로스 엔트로피(cross entropy) 본 포스팅의 주제인 KL-divergence에 대해 설명하기에 앞서 KL divergence를 이해하기 위해 꼭 필요한 개념인 크로스 엔트로피에 대해 먼저 알아보고자 한다. 크로스 엔트로피는 한마디로 하면 ‘예측과 달라서 생기는 깜놀도(즉 정보량)’라고 할 수 있다. 이를 조금 더 자세하게 알기 위해 우선 출력가능한 결과물이 두 가지인 경우(binary case...

What is Information? When studying, we often get stuck on terminology. In particular, I remember struggling with many terms while studying statistics. For example, the term “null hypothesis” was so unfamiliar that it was a good example of a term that took a lot of effort to learn. However, the term “information” that I want to talk about in...

정보란 무엇인가? 공부를 하다보면 용어에 막히는 경우가 종종 있다. 특히, 필자의 경우에는 통계학을 공부하면서 용어에서 많은 벽을 느꼈던 것 같다. 가령 귀무가설 같은 용어는 너무 생소하다보니 그 용어를 익히는데 애를 먹었던 좋은 예라고 할 수 있을 것 같다. 그런데, 이번 포스트에서 말하고자 하는 ‘정보’는 오히려 평소에 너무 자주 사용하는 용어이다보니 공부하는데 애를 먹게한 경우라고 할 수 있을 것 같다. 정보란 무엇일까? 여러가지 관점에서 ‘정보’를 해석할 수 있겠다. 가령, 데이터베이스의 관점에서는 정보란 데이터를 쉽게 사용할 수 있도록 가공한 것을 의미한다. 이 관점은 다분히 computer ...

Prerequisites To understand this post, you need to have prior knowledge of the following: Convolution of Discrete Time Signals Convolution operation Concept of impulse response FIR filter Basic knowledge of matrix operations (matrix multiplication, inverse matrix, etc.) Impulse response and convolution of sign...