점추정(비편향추정,최소분산평가) |
본 포스팅에서는 점추정, 그 중에서도 비편향추정(Unbiased Estimate)과 최소분산평가(Minimum Variance Estimate)에 대해 다루도록한다.
좀 더 상세히는 비편향추정 중 성공확률의 점추정과 모집단평균 및 분산의 점추정, 최소분산평가 중 최소분산비편향평가(MVUE, Minimum Variance Unbiased Estimate), 상대효율(Relative efficiency), 평균좌승에러(MSE, Mean Squared Error) 등에 대해 설명한다.
비편향 추정(Unbiased Estimate) |
점추정 매개변수 에 대한 는 아래와 같은 상황에서는 비편향(Unbiased)되었다고 불려진다.
만약 점추정이 비편항적이지가 않다면, 이것의 편향성(bias)은 다음과 같이 정의된다.
베르누이 시행에서의 성공확률 점추정 |
만약 이고, 은 비편향 점추정이다.
위 추정값이 비편향 추정이기 때문에 비편향 추정의 정의에 의해 다음과 같이 증명되어야 한다.
모집단 평균의 점추정 |
만약 이 평균 를 가지는 확률분포로부터의 관측치의 표본이라하자.
표본 평균 는 모집단 평균 의 비편향 점추정이다.
위 추정값이 비편향 추정이기 때문에 비편향 추정의 정의에 의해 다음과 같이 증명되어야 한다.
모집단 분산의 점추정 |
만약 이 평균 를 가지는 확률분포로부터의 관측치의 표본이라하자.
그때에 표본 분산은 다음과 같이 계산된다.
이는 표본 분산 의 비편향 점추정이다.
위 추정값이 비편향 추정이기 때문에 비편향 추정의 정의에 의해 다음과 같이 증명되어야 한다.
※ 분산 점추정 증명 참고자료
여기서 위의 점추정 증명방식에 아래 내용을 참고하자.
최소 분산 평가(Minimum Variance Estimate) |
두 가지 방법으로 점추정을 수행하였고 그 점추정량이 와 라 가정한다.
아래 그래프는 두 점추정의 결과이고 이를 살펴봤을 때, 의 분산이 의 분산보다 크기 때문에 보다 가 더 나은 점추정이다.
그리고 이 결과를 수학적으로 표현하면 다음과 같이 작성된다.
여기서 가 0보다 크다면 어떤 값을 갖던 간에 위 식은 성립하며, 아래 그림은 그 이유를 직관적으로 보여준다.
최소분산비편향평가(MVUE, Minimum Variance Unbiased Estimate) |
비편향 점추정들 중에서 최소의 분산을 가지는 비편향 점추정을 최소분산비편향평가(MVUE)라 부른다.
최소분산비편향평가(MVUE)를 찾아내고 조사하기 위해 수학이론들을 기반으로한 좋은 방식들이 개발되어 왔다.
상대효율(Relative efficiency) |
두 비편향평가의 상대 효율은 다음과 같이 두 분산의 비율로 계산된다.
만약 분모가 최소분산비편향평가(MVUE)라면 위 식은 효율이라 불린다.
평균 좌승에러(MSE, Mean Squared Error) |
몇몇 상황에서는(비편향적이지 않을 경우) 다른 예상치와 다른 분산값을 가지는 점추정을 비교하는 것이 유용하다.
예를들어 아래그래프와 같은 상황에서는 의 편향도가 보다 작으나, 분산값은 더 크다.
이런 경우에 대해서는 주로 평균좌승에러(MSE)의 값을 최소화하는 점추정을 더 선호한다.
평균좌승에러(MSE)의 정의
평균좌승에러(MSE)의 정의는 다음과 같다.
위 식은 다음과 같이 증명될 수 있다.
위 과정에서 임을 참고하자.
위 식에서 볼 수 있다싶이 평균좌승에러(MSE)는 의 분산과 편향도의 제곱의 합으로 정의된다.
그리고 비편향적인 상황에서는 평균좌승에러(MSE)는 의 분산과 동일하다.
'Mathematics > 확률과 통계' 카테고리의 다른 글
신뢰구간추정(스튜던트 t-분포, 표준정규분포)-확률과통계(21) (0) | 2020.08.04 |
---|---|
점추정(적률법, 최대우도추정)-확률과통계(20) (0) | 2020.08.03 |
표본분포(표본비율, 표본평균, 표본분산)-확률과통계(18) (0) | 2020.08.01 |
카이제곱분포, 스튜던트 t-분포, F-분포-확률과통계(17) (0) | 2020.07.28 |
로그정규분포와 다변량정규분포-확률과 통계(16) (0) | 2020.07.27 |
댓글