공분산(Covariance) 정리

공분산 행렬 개념

공분산 행렬 특징

 

---

공분산 행렬 개념

- 분산이 데이터(X) 자체의 퍼짐(Distribution) 정도를 나타내는 척도라면,

- 공분산은 데이터 끼리(X, Y) 비교하여 Trend를 나타낸다. 따라서, 상대적인 지표이다.

- 그 자체 값으로는 해석하기 난해하며 상관관계(Correlation), 주성분분석(PCA), 가우시안 혼합 모델(GMM) 계산에 쓰인다.   

 

※ 분산(Variance) : $E(X^2) - {E(X)}^2$

 

 

공분산 행렬 특징

Cov[Ax] = $ACov[x]A^T$

 

유도) 

$$\begin{align}{\rm Cov}[A x] & = \mathbb{E}[(Ax - \mathbb{E}[Ax])(Ax - \mathbb{E}[Ax])^T] \\ & = \mathbb{E}[(Ax - A\mathbb{E}[x])(Ax - A\mathbb{E}[x])^T ]\\ & = \mathbb{E}[A(x - \mathbb{E}[x])(x - \mathbb{E}[x])^T A^T ] \\ & = A \mathbb{E}[(x - \mathbb{E}[x])(x - \mathbb{E}[x])^T  ]A^T \\ & = A {\rm Cov}[x] A^T \\ \end{align}$$

---

www.youtube.com/watch?v=qtaqvPAeEJY