점추정(비편향추정,최소분산평가)-확률과통계(19)

점추정(비편향추정,최소분산평가)

본 포스팅에서는 점추정, 그 중에서도 비편향추정(Unbiased Estimate)과 최소분산평가(Minimum Variance Estimate)에 대해 다루도록한다.

좀 더 상세히는 비편향추정 중 성공확률의 점추정과 모집단평균 및 분산의 점추정, 최소분산평가 중 최소분산비편향평가(MVUE, Minimum Variance Unbiased Estimate), 상대효율(Relative efficiency), 평균좌승에러(MSE, Mean Squared Error) 등에 대해 설명한다.

 

비편향 추정(Unbiased Estimate)

 

점추정 매개변수 에 대한 는 아래와 같은 상황에서는 비편향(Unbiased)되었다고 불려진다. 

만약 점추정이 비편항적이지가 않다면, 이것의 편향성(bias)은 다음과 같이 정의된다.

베르누이 시행에서의 성공확률 점추정

만약 이고, 은 비편향 점추정이다.

위 추정값이 비편향 추정이기 때문에 비편향 추정의 정의에 의해 다음과 같이 증명되어야 한다.  

모집단 평균의 점추정

만약 이 평균 를 가지는 확률분포로부터의 관측치의 표본이라하자.

표본 평균 는 모집단 평균 의 비편향 점추정이다.

위 추정값이 비편향 추정이기 때문에 비편향 추정의 정의에 의해 다음과 같이 증명되어야 한다.  

모집단 분산의 점추정

만약 이 평균 를 가지는 확률분포로부터의 관측치의 표본이라하자.

그때에 표본 분산은 다음과 같이 계산된다.

이는 표본 분산 의 비편향 점추정이다.

위 추정값이 비편향 추정이기 때문에 비편향 추정의 정의에 의해 다음과 같이 증명되어야 한다. 

※ 분산 점추정 증명 참고자료

  여기서 위의 점추정 증명방식에 아래 내용을 참고하자.

 

최소 분산 평가(Minimum Variance Estimate)

 

두 가지 방법으로 점추정을 수행하였고 그 점추정량이 와 라 가정한다.

아래 그래프는 두 점추정의 결과이고 이를 살펴봤을 때, 의 분산이 의 분산보다 크기 때문에 보다 가 더 나은 점추정이다.

그리고 이 결과를 수학적으로 표현하면 다음과 같이 작성된다.

여기서 가 0보다 크다면 어떤 값을 갖던 간에 위 식은 성립하며, 아래 그림은 그 이유를 직관적으로 보여준다.

최소분산비편향평가(MVUE, Minimum Variance Unbiased Estimate)

비편향 점추정들 중에서 최소의 분산을 가지는 비편향 점추정을 최소분산비편향평가(MVUE)라 부른다.

최소분산비편향평가(MVUE)를 찾아내고 조사하기 위해 수학이론들을 기반으로한 좋은 방식들이 개발되어 왔다.

상대효율(Relative efficiency)

두 비편향평가의 상대 효율은 다음과 같이 두 분산의 비율로 계산된다.

만약 분모가 최소분산비편향평가(MVUE)라면 위 식은 효율이라 불린다.

평균 좌승에러(MSE, Mean Squared Error)

몇몇 상황에서는(비편향적이지 않을 경우) 다른 예상치와 다른 분산값을 가지는 점추정을 비교하는 것이 유용하다.

예를들어 아래그래프와 같은 상황에서는 의 편향도가 보다 작으나, 분산값은 더 크다.

이런 경우에 대해서는 주로 평균좌승에러(MSE)의 값을 최소화하는 점추정을 더 선호한다.

평균좌승에러(MSE)의 정의

평균좌승에러(MSE)의 정의는 다음과 같다.

위 식은 다음과 같이 증명될 수 있다.

위 과정에서 임을 참고하자.

위 식에서 볼 수 있다싶이 평균좌승에러(MSE)는 의 분산과 편향도의 제곱의 합으로 정의된다.

그리고 비편향적인 상황에서는 평균좌승에러(MSE)는 의 분산과 동일하다.