Likelihood(우도, 가능도)와 MLE(Maximum Likelihood Estimaton)

  Likelihood(우도, 가능도)

출처-공돌이의 수학노트(https://angeloyeo.github.io/2020/07/17/MLE.html)

데이터가 만일 위의 그림처럼 1,4,5,6,9가 나왔을 때 분포는 주황색으로 추정하는 것이 옳을까?, 아니면 파란색으로 추정하는 것이 좋을까? 

우도란 이런 정도를 나타내는 것으로, 정리하면 

 "데이터가 해당 분포로 부터 나왔을 가능성(liklihood)"  

L은 우도, P는 확률이다

확률은 모수가 정해진 상태에서 특정 data가 관측될 확률이고(말이 이상하지만..!), Likelihood는 Data가 관측된 상태에서 특정 확률분포에 대한 "모수"를 추정할 수 있는 믿음의 정도..?이다. 

출처- 친절한 데이터 사이언티스트 되기 강좌 티스토리

즉, 특정 모수 하의 x가 나올 확률은 x에 관한 모수의 가능도와 같다!

 

우리가 가지고 있는 데이터는 

MLE(최대 우도 법)

최대우도법은 모수를 추정하는 방법으로, 데이터로부터 모수의 값을 추정할 때 사용하는 방법니다. 

위의 주황색과 파란색 분포 부분을 다시 보자. 

주황색의 경우 p(x)의 값이 큰 부분에 데이터들이 모여있기 때문에 해당 데이터들의 우도의 합은 파란색 분포일 때 보다 높을 것이다. 

따라서 우리는 주황색 분포라고 예측하는 것이 더 옳을 것이다. 

 

이를 수식으로 표현하면 

아래와 같고. (2)와 달리 (3)의 경우 log를 씌워서 합으로 정의한 log likelihood라고 한다. 

log를 사용하면 l ikelihood 식이 덧셈으로 변합니다. 또한 지수값이 곱셈으로 변화한다. 이는 연산을 용이하고 직관적으로 만들어준다. 

(2)에서 곱하는 이유는 사건, 데이터를 뽑는 경우가 모두 iid이기 때문이다. 즉 독립사건임을 가정하기에 모든 데이터를 뽑는 경우는 이들의 곱으로 표현가능하다(결합확률분포를 생각해보자)

 

MLE 계산해보기 

 그럼 최대는 어떻게 구할까?? Likelihood 식을 미분해서 0인 지점을 찾으면 된다(2학년 때 통계 때 정규분포를 다 곱하고 미분을 했던 기억을 살리며..)

즉, 

위 식을 풀고 값이 0이 될 때의 세타, 모수를 찾으면 된다. 

 

출처:

최대우도법 소개:

https://angeloyeo.github.io/2020/07/17/MLE.html

우도 소개:

https://recipesds.tistory.com/entry/%EC%9A%B0%EB%8F%84%EB%9E%80-%EB%8F%84%EB%8C%80%EC%B2%B4-%EB%AC%B4%EC%97%87%EC%9D%B8%EA%B0%80-%EC%A0%90-%EC%B6%94%EC%A0%95%EC%A0%84%EC%97%90-%ED%95%98%EB%8A%94-%EC%A4%80%EB%B9%84-%EC%B2%B4%EC%A1%B0-%EA%B0%80%EB%8A%A5%EB%8F%84-Likelihood%EB%9D%BC%EA%B3%A0%EB%8F%84-%EB%B6%88%EB%A6%AC%EB%8A%94-%EC%B9%B4%EC%98%A4%EC%8A%A4%EC%A0%81%EC%9D%B8-%EB%82%A9%EB%93%9D

우도란 도대체 무엇인가 - 점 추정전에 하는 준비 체조 - 가능도, Likelihood라고도 불리는 카오스적