[7주차 - Day2] ML_basics - Probability Distributions (Part 2)

확률분포

1. 가우시안 분포(Gaussian Distribution)

정보이론에서 엔트로피를 최대화시키는 확률분포

중심극한정리

단일변수 x

D차원 벡터 x

가우시안 분포의 기하하적인 형태

x에 대한 함수적 종속성은 지수부에 등장하는 이차형식(quadratic form)에 있음

가우시안 분포의 Normalization 증명

기저변환(change of basis) : y를 벡터들 ui에 의해 정의된 새로운 좌표체계 내의 점으로 해석가능

가우시안 분포의 기댓값

다변량(multivariate) 확률변수의 기댓값

 

가우시안 분포의 공분산

2. 조건분 가우시안 분포(Conditional Gaussian Distributions)

D차원의 확률변수 벡터 x가 가우시안 분포를 따른다고 할 때 x를 두 그룹의 확률변수들로 나누었을 때 한 그룹이 주어졌을 때 나머지 그룹의 조건부 확률도 가우시안 분포를 따르고 각 그룹의 주변확률 또한 가우시안 분포를 따른다

완전제곱식(Completing the Square)방법

3. 주변 가우시안 분포(Marginal Gaussian Distributions)

4. 가우시안 분포를 위한 베이즈 정리(Bayes' Theorem for Gaussain Variables)