결합 확률 분포, 주변 확률 분포 (Joint / Marginal Probability Distribution)

Contents

결합 확률 분포(Joint Probability Distribution)

• 결합 확률 질량 함수(Joint PMF)
• 결합 확률 밀도 함수(Joint PDF)

주변 확률 분포(Marginal Probability Distribution)

• 주변 확률 질량 함수(Marginal PMF)
• 주변 확률 밀도 함수(Marginal PDF)

조건부 확률 분포(Marginal Probability Distribution)

• 조건부 확률 질량 함수(Conditional PMF)
• 조건부 확률 밀도 함수(Conditional PDF)

 

※ 주변 확률 분포는 두개의 변수로 이루어진 결합 확률 분포를 하나의 변수로 표현하기 위한 방법이다.

※ 주변 확률 분포는 결합 확률 분포와 대립되는 개념이 아니다!

 

---

▶ 결합 확률 분포(Joint Probability Distribution)

• P(X, Y) = P(X $\cap$ Y) : 두개 이상의 사건이 동시에 일어날 확률 분포
• 두 사건(x, y)는 서로 독립(Independent)이어야 한다.
• 즉, P(X, Y)  = P(X $\cap$ Y) = P(X) x P(Y)
• 결합 확률 질량 함수(Joint PMF)
  • 이산 확률 변수가 두개 이상인 확률 질량 함수
  • $P_{X,Y}(x, y) = P(X = x, Y = y)$
  • $\sum_{i}\sum_{j}P(X = x_i, Y = y_j) = 1$
• 결합 확률 밀도 함수(Joint PDF)
  • 연속 확률 변수가 두개 이상인 확률 밀도 함수
  • 아래 식에서 A는 두 확률변수 X, Y가 형성하는 특정 공간(집합)을 의미
  • 

▶ 주변 확률 분포(Marginal Probability Distribution)

• 결합확률 분포를 전제로 한다.
• 결합 확률 분포 $P_{X,Y}(X,Y)$ 를 통해 하나의 확률 변수에 대한 확률 함수를 구할 수 있다.
• 주변 확률 질량 함수(Marginal PMF)
  • X에 대한 주변 확률 질량 함수 : $P_{X}(X) = P(X = x) = \sum_{y_j \in Y}P_{X,Y}(x, y_j)$
  • Y에 대한 주변 확률 질량 함수 : $P_{Y}(Y) = P(Y = y) = \sum_{x_y \in X}P_{X,Y}(x_i, y)$

  • 

    이산 확률 분포에서 P(X0) 로의 Marginalization 예시

    
    

  • 

    이산 확률 분포에서 각각 축으로의 Marginalization 예시

• 주변 확률 밀도 함수(Marginal PDF)
  • X에 대한 주변 확률 밀도 함수 : $f_X(x) = \int_y f_{X,Y}(x,y)dy, \, for \, all \, y$
  • Y에 대한 주변 확률 밀도 함수 : $f_Y(y) = \int_x f_{X,Y}(x,y)dx, \, for \, all \, x$

 

▶ 조건부 확률 분포(Marginal Probability Distribution)

• 그외에도 조건부 확률 분포 개념이 존재하는데 [1] 레퍼런스를 참고한다.

---

[Reference]

[1] https://excelsior-cjh.tistory.com/193

Chap02 - Joint,Marginal,Conditional Probability Distribution