헤세 행렬(Hessian Matrix)의 기하학적 의미

※ Hessian Matrix의 정식 한글명칭은 헤세 행렬인 것으로 보이나 글쓴이의 편의를 위해 헤시안 행렬, 헤세 행렬, Hessian 행렬, Hessian Matrix 등으로 혼용해 부르고자 합니다. ※ Hessian 행렬의 기하학적 의미편을 이해하기 위해선 아래의 내용에 대해 숙지하고 오시는 것을 강력히 추천드립니다. 행렬과 선형변환 고유값과 고유벡터 Hessian Matrix의 정의 우선은 Hessian 행렬이 어떤 형태를 가지는지 Hessian 행렬의 정의를 알아보는 것이 중요할 수 있다. 위키피디아에 따르면 헤세 행렬(Hessian Matrix)은 어떤 함수의 2계 도함수들을 이용하여...

더보기

p-value의 의미

p-value를 이용한 가설 검증 방법의 문제를 재밌게 보여주고 있는 만화 원본 그림: https://imgs.xkcd.com/comics/significant.png p-value는 통계학에 기반한 과학적인 방법으로 연구를 수행하고 그 결과의 유의성을 확인하기 위해 매우 필요한 도구 중 하나이다. 하지만 많은 연구자들이 p-value를 잘못 사용하고 있거나, 어떤 경우 고의적으로 p-value의 특성을 이용해 연구 결과를 부풀리는 경우가 있다. 이번 article에서는 p-value의 의미와 대표적인 오용 사례에 대해 짚어보고자 한다. p-value의 의미 우선은 조금은 딱딱하지만, p-value의...

더보기

실패를 기도하는 이론 - 귀무가설과 대립가설

분야를 막론하고 새로운 것을 공부하다보면 맞닥뜨리는 어려움 중 하나는 용어이다. 그래서 용어에 대해 친숙해지고 나서야 비로소 해당 분야에 대해서 공부가 풀려가기 시작하는 경우도 많다. 통계학에서 처음 접하는 용어 중 어려운 것들을 꼽으라면 가설에 관한 것이다. 귀무가설, 대립가설이 대표적인데, 한자 용어라 어려운가 싶어서 영문으로 봐도 전혀 도움이 되지 않는 아주 불친절한 용어들이다 (각각은 null hypothesis, alternative hypothesis로 번역할 수 있다). 필자의 경우 대학원에 들어가서야 통계학을 독학으로 공부했는데 이 용어들에 익숙해지는데까지 1년 넘는 시간이 걸렸던 것 같다. ...

더보기

표본 분산은 n 대신 n-1로 나눈다

표본 분산의 기댓값은 모분산이 되어야 한다. 통계학에서는 어떤 모수를 추정하기 위해 추정량을 사용한다. 대표적인 모수는 모평균, 모분산, 모비율이 있는데, 이상적으로는 표본의 크기가 커질수록 표본으로 부터 계산하여 추정하는 값은 추정하고자 하는 모수와 같아지기를 바란다. 따라서, 이상적인 추정량은 그 추정량의 기대값이 모수와 같은 것이라고 할 수 있다. 대표적인 표본 통계량 중 하나인 표본 분산은 다음과 같이 정의된다. \[s^2 = \frac{1}{n-1}\sum_{k=1}^n{\left(X_k-\bar{X}\right)^2}\] 여기서 n 대신 n-1로 나눠 표본 통계량을 정의한 것은 이렇게 모분산...

더보기

F-value의 의미와 분산분석

Prerequisites 이 포스트를 잘 이해하기 위해선 아래의 내용에 대해 알고 오시는 것이 좋습니다. 표본과 표준 오차의 의미 여러 표본 집단을 비교하는 방법 연구나 조사를 수행하다보면 여러 표본집단들의 평균을 비교할 필요가 있다. 예를 들어, 두 가지 음식 A, B가 몸무게에 어떤 영향을 주는지 확인하는 조사를 진행한다고 하자. 이 질문에 답하기 위해선 다음과 같이 연구를 진행할 수 있다. 우선 피험자간 몸무게에 큰 차이가 없는 피험자 집단을 모집하고, 해당 집단을 세 그룹으로 나눈 다음 대조군 한 그룹과 음식 A, B만을 먹는 그룹으로 총 세 그룹을 선정해 각각 식이 조절을 시킨다. 그...

더보기

t-value의 의미와 스튜던트의 T 테스트

Prerequisites 이 포스트를 잘 이해하기 위해선 아래의 내용에 대해 알고 오시는 것이 좋습니다. 표본과 표준 오차의 의미 전반적인 내용 이번 article에서 정리하게 될 내용은 대략적으로 다음과 같다. 검정 통계량이란 무엇인가? t-value의 의미 모집단에서 수 차례 표본 추출을 해보고 그들의 t-value를 계산하여 분포를 직접 확인 검정 통계량(test statistic) 스튜던트의 t-test에 대해 이해하기 전에 검정 통계량이라는 개념에 대해서 한번은 짚고 넘어가는 것이 좋을 것 같다. $\lt$표본과 표준 오차의 의미$\gt$편에서는 모집단, 모수, 표본, ...

더보기

표본과 표준 오차의 의미

모집단과 표본 집단 통계학을 공부하기 시작하면 가장 먼저 듣게 되는, 마치 고교 수학에서 과 같은 위치를 차지하고 있는 개념이 바로 모집단과 표본 집단에 관한 이야기이다. 고리타분한 이야기를 좋아하지는 않지만, 검정을 위한 통계학을 이해하기 위해선 모집단과 표본 집단에 대한 이해는 매우 필수적이다. 이 내용은 중요하기 때문에 한번 더 언급하겠다. 검정을 위한 통계학을 위해선 모집단과 표본 집단이 뽑히는 과정에 대해서 면밀히 이해해야한다! 이번 article에서는 “금성에 사는 외계인 150명”이라는 가상의 모집단을 상정하고, 표본을 추출하고, 표본 통계량을 계산해보면서 모집단과 표본 집단에 대해서 이해해보고...

더보기