점추정(적률법, 최대우도추정)-확률과통계(20)

점추정(적률법, 최대우도추정)

본 포스팅에서는 점추정(Point estimate) 중 적률법(Method of Moments)과 최대우도추정(MLE, Maximum Likelihood Estimates)에 대해 다루도록한다.

적률법(Method of Moments)

적률법(Method of Moments)은 점추정방법 중 하나로 적률을 이용하여 모수를 점추정하는 방법이다.

  ○ 적률과 적률생성함수에 대한 설명은 이 링크(여기)에 있다.

  ○ 설명이 어렵지만 쉽게 설명해서 를 적률이라하며 이를 이용하여 점추정을 수행하는 방법이다.

    ▷ 아래 나오지만 실제로 평균을 추정하기 위해  를 사용한다.

한개의 매개변수에 대한 모수추정 점평가

만약 알려지지 않은 매개변수 에 의존적인 확률분포로부터의 관측치 의 데이터 집합이 있다.

이 경우 적률법의 점추정 는 를 계산하여 구해진다.

예제

예를들어 성공확률이 p인 베르누이 관측치 를 고려한다.

각각의 베르누이 시행의 평균은 p이고, 적률법에 의하면 가 얻어진다. 

즉, 점추정 는 아래와 같이 구해질 수 있다. 

두개의 매개변수에 대한 모수추정 점평가

알려지지 않은 매개변수 , 에 대해,  모수추정 점평가는 과 을 계산하여 구해진다. 

예제

예를들기 위해 정규적으로 분포한 데이터를 고려해보자.

여기서 정규분포 에 대해 이고 이다. 

적률법에 의하면 와이다. 

  ○ 는 다음과 같이 계산되어진다.

최대우도추정(MLE, Maximum Likelihood Estimate)

최대우도추정(MLE, Maximum Likelihood Estimate)은 매개변수 에 대해 우도함수의 최대값을 구함으로써 값을 추정하는 점추정이다. 

 

※ 우도(Likelihood)

  우도는 가능성, 가능도라고도 불린다. 

  우도는 확률과는 반대되는 개념으로 다음과 같이 정리될 수 있다.

    ○ 확률은 특정 행위를 했을때 사건(결과)이 어떤 사건이 일어날지 평가하는 척도이다.

      ▷ 쉽게설명하면, 확률분석은 확률밀도함수와 평균값, 분산값 등을 가지고 데이터를 유추한다.

    ○ 우도는 발생한 사건(결과)을 가지고 특정 행위(가설)를 추측하는 척도이다. 

      ▷ 쉽게설명하면, 우도추정은 데이터와 확률밀도함수를 가지고 평균값 및 분산값을 유추해낸다.

※ 우도함수(Likelihood Function)

  미지의 모집단의 매개변수 에 의존하는 함수를 나타내며 다음과 같이 표현한다.

    ○ 즉, 우도함수는 미지의 매개변수 를 평가하기 위한 함수이다.

 

 

하나의 매개변수에 대한 최대우도추정(MLE)

만약 데이터 집합이 알려지지 않은 매개변수 에 의존하는 확률분포 에서의 관측치 로 구성되어 있다.

그렇다면 우도함수는 다음과 같이 표현된다.

각 표본들이 상호독립적인 경우라면 다음과 같이 각 표본의 확률밀도함수의 곱으로 표현이된다.

최대우도추정(MLE) 는 위의 우도함수를 최대화 시키는 값이다.

  ○ 따라서 최대값을 구하기 위해 양변에 자연로그를 취한뒤 미분하여 값을 구한다.

  ○ 이해를 돕기 위해 아래 예제를 살펴본다.

예제

성공확률이 p인 베르누이 관측치 를 고려한다.

여기서 이고, 이다. 

즉, 가 된다. 

우도함수는 다음과 같이 된다.

여기서 이다.

최대우도추정 는 위 식을 최대화시키는 값이다.

위 식을 최대화 시키는 값을 찾기위해 다음과 같은 과정을 거친다.

먼저 위 우도식의 양변에 자연로그를 취하며 그렇다면 다음과 같은 식을 얻는다. 

그리고 극대값을 구하기 위해 위식을 p에 대해 미분하면 아래와 같다.

위 미분식을 0이 되게 만들게하는 p값이 최대우도추정 이며, 이 값은 다음과 같이 계산된다.  

두개의 매개변수에 대한 최대우도추정(MLE)

알려지지 않은 매개변수 , 에 대해, 최대우도추정(MLE) 과 은 다음과 같은 방식으로 계산될 수 있다.

예제로 다음과 같은 정규분포와 정규분포를 따르는 관측치 를 가정한다.

여기서 우도는 다음과 같다.

이렇게 구해진 우도에 자연로그를 취하면 다음과 같다.

위 식을 와 로 편미분을 수행하면 다음과 같다.

위 두 미분값이 0이 되는 값이 최대우도추정 , 이므로 두 식이 0이 되는 , 값을 구하면 다음과 같다.