다변량 가우시안 분포(Multivariate Gaussian Distribution)

1. Multivariate Gaussian Distribution

2. Multivariate Gaussian Distribution 특징

3. Multivariate Gaussian Distribution의 활용

4. 코드

---

1. Multivariate Gaussian Distribution

- 일차원의 정규 분포를 다차원으로 확장 시킨 개념

- 평균값을 중심으로 군집화 되어 있는 '상관 관계있는' 랜덤 변수 집합을 설명하는데 자주 사용된다.

- $N(\mu, \Sigma)$

- $\mu \in R^k$  :  위치

- $\Sigma \in R^{k \times k} $ : 공분산

 

정리하자면,

K차원의 랜덤벡터 $ X = (X_1, ... , X_k)^T $ 의 다변량 정규 분포는 다음과 같이 표현할 수 있다.

 

 

(D는 데이터 차원을 뜻한다) (여기서는 D = k)

혹은 수식을 걷어내고 아래와 같이 표현한다.

그리고, 평균과 공분산. 

 

2. Multivariate Gaussian Distribution 특징

- 공분산 행렬 값으로 분포의 크기를 조정할 수 있다. 다만, 부피의 합은 1이므로, 분포 크기가 커지면 높이는 낮아진다.

- 대각선 값으로 X, Y 분포 혹은 대각 방향으로 분포 정도를 조절할 수 있다. 음수면 반대쪽으로 성향을 가진다.

- (우상향) 대각선은 두 분포간의 상관성(Correlation)을 반영한다.

- $\mu$ 값으로 전체 분포를 이동시킬 수 있다. 

 

2-1. 기존 모델과의 비교

 

3. Multivariate Gaussian Distribution의 활용

(Andrew NG 교수님 강의 교제 참고)

- 기존의 Anomaly Detection Algorithm은 왼쪽의 초록색 x표와 같이 Anomaly data가 들어와도, x1축 혹은 x2 축 기준으로 가우시간 분포를 확인했을 때 큰 이상임을 탐지하지 못한다. 전체적으로 분홍색으로 표현된 가우시안 분포로 데이터 이상을 확인하기 때문이다. 데이터가 타원형(Ellipse)으로 분포되어 있음을 나타내는 새로운 모델이 필요로 해보인다.

여기서 다변량 가우시안 분포를 활용할 수 있다.

 

- 위의 식은 다변량 정규 분포 식을 Log likehood로 만들어 최적화 시킨 결과

  (평균과 공분산을 구하는 과정은 유도가 필요하며, 이미 알려져 있다)

- 평균과 공분산에 대해 다변량 정규 분포 식을 미분한 다음 기울기가 0이되는 최적의 값을 찾은 것.

- 미분의 자세한 과정은 강의 참조

 

4. 코드

def multivariate_normal(x, d, mean, covariance):
    """
    pdf of the multivariate normal distribution.
    d : random vector size
    """
    x_m = x - mean
    return (1. / (np.sqrt((2 * np.pi)**d * np.linalg.det(covariance))) * 
            np.exp(-(np.linalg.solve(covariance, x_m).T.dot(x_m)) / 2))
            
'''
numpy.linalg.solve(a, b)
- 선형 연립 방정식을 푼다.
- a는 Full-rank 즉, 열이 선형 독립이어야 한다.
그렇지 않을 경우, numpy.linalg.lstsq 을 사용하도록 한다.
'''

def generate_surface(mean, covariance, d):
    """Helper function to generate density surface."""
    nb_of_x = 100                             # grid size
    x1s = np.linspace(-5, 5, num=nb_of_x)
    x2s = np.linspace(-5, 5, num=nb_of_x)
    x1, x2 = np.meshgrid(x1s, x2s)            # Generate grid
    pdf = np.zeros((nb_of_x, nb_of_x))
                                              # Fill the cost matrix for each combination of weights
    for i in range(nb_of_x):
        for j in range(nb_of_x):
            pdf[i,j] = multivariate_normal(np.matrix([[x1[i,j]], [x2[i,j]]]), # 2 x 1 행렬
                                           d, mean, covariance)
    return x1, x2, pdf                        # x1, x2, pdf(x1,x2)

bivariate_mean = np.matrix([[0.], [0.]])      # Mean
bivariate_covariance = np.matrix([[1., 0.], 
                                  [0., 1.]])  # Covariance

d = 2  # number of dimensions
# grid (x1, x2) 값과 확률 밀도 함수 반환
x1, x2, p = generate_surface(bivariate_mean, bivariate_covariance, d) 
# Plot bivariate distribution
con = ax1.contourf(x1, x2, p, 100, cmap=cm.YlGnBu)

확률 밀도 함수를 반환한다.

 

4.-1 코드 - scipy

from scipy.stats import multivariate_normal
'''
multivariate_normal(mean=None, cov=1, allow_singular=False, seed=None) 
https://docs.scipy.org/doc/scipy/reference/generated/scipy.stats.multivariate_normal.html
'''
x = np.linspace(0, 5, 10, endpoint=False)
y = multivariate_normal.pdf(x, mean=2.5, cov=0.5)
'''
y array([ 0.00108914,  0.01033349,  0.05946514,  0.20755375,  0.43939129,
        0.56418958,  0.43939129,  0.20755375,  0.05946514,  0.01033349])
'''
fig1 = plt.figure()
ax = fig1.add_subplot(111)
ax.plot(x, y)

x, y = np.mgrid[-1:1:.01, -1:1:.01]
pos = np.dstack((x, y))
print(pos)
rv = multivariate_normal([0.5, -0.2], [[2.0, 0.3],
                                       [0.3, 0.5]])
fig2 = plt.figure()
ax2 = fig2.add_subplot(111)
ax2.contourf(x, y, rv.pdf(pos))
plt.show()

 

---

다변량 정규 분포 - 이론)

www.ktword.co.kr/abbr_view.php?m_temp1=1281

en.wikipedia.org/wiki/Multivariate_normal_distribution

www.coursera.org/learn/machine-learning/lecture/

www.edwith.org/machinelearning2__17/lecture/10857

 

다변량 정규 분포 - 코드)

docs.scipy.org/doc/scipy/reference/generated/scipy.stats.multivariate_normal.html

peterroelants.github.io/posts/multivariate-normal-primer/