Likelihood(가능도)

▶ Likelihood

- 확률분포의 모수($\theta$)가 어떤 확률 변수의 표본과 일관되는 정도를 나타내는 값이다.

--> 표본(x)을 설명할 수 있으려면, 모수($\theta$)는 어떻게 되어야 하는지 가능성을 나타낸다.

 

- 구체적으로, 표본에 대한 모수의 Likelihood는 이 모수를 따르는 분포가 주어진 관측값에 대하여 부여하는 확률이다.

-->표본(x)가 주어졌을때 이를 설명할 수 있는 모수($\theta$)의 Likelihood는 이 모수를 따르는 분포가 주어진 관측값(X = x)에 대하여 부여하는 확률이다.

 

Ex1)

동전을 던져 앞면(H)이 나오는 확률을 $p_H$라 하자. 만약 $p_H = 0.5$일때, HH(앞면 두번) 나올 확률은 (곱의 법칙에 의해) 0.25이다(수식 오른쪽).

 

이를 통해, 동전의 관측결과가 HH(앞면 두번)라면(표본(x)), $p_H = 0.5$(모수 $\theta$)의 가능도는 0.25라고 할 수 있다(수식 왼쪽).

 

수식으로는

$$ L(p_H=0.5 | HH) = P(HH | p_H = 0.5) = 0.25 $$

 

말로 표현하면, 앞면 두번이 등장했을 때 "동전은 앞이 나올 확률은 0.5야!!"라는 주장의 타당성은 0.25라고 해석할 수 있다.

 

Ex2)

34gram을 뽑았을때, 주어진 모수가 (평균=32, 표준편차=2.5)일 가능성은 0.12이다.

 

 

 

▶ Likelihood in Normal Distribution(정규 분포)

 

▶ Log Likelihood

- Likelihood에 로그를 취한 것. 미분을 쉽게 하기 위함이다.

 

▶ 정리하면

확률(Probability)은 모수와 주어진 확률 밀도 함수(PDF)에서(분포가 고정되어 있다) 면적으로 나타낼 수 있고,

--> 표본 추출 전에 값을 구할 수 있다.

가능도(Likelihood)는 표본(x)이 주어지고(데이터가 고정되어 있다) 모수의 확률 밀도 함수의 y값이 된다.

--> 먼저 표본을 추출해야 값을 구할 수 있다.

 

▶ 최대 우도 추정(Maximum Likelihood Method)

참고로 최대 우도 추정 방법은 앞에서 살펴본 Likelihood  $L(\theta)$를 최대로 하는 모수를 추정하는 방법이다.

$$ \hat{\theta} = argmax_{\theta}L(\theta) $$

 

---

[Reference]

ko.wikipedia.org/wiki/%EA%B0%80%EB%8A%A5%EB%8F%84

www.youtube.com/watch?v=sOtkPm_1GYw

www.youtube.com/watch?v=pYxNSUDSFH4&feature=youtu.be