기울기값과 회귀선에 대한 추론-확률과통계(29)

기울기값과 회귀선에 대한 추론

본 포스팅에서는 기울기 값과 회귀선에 대한 추론에 대해 다루도록한다.

기울기값 에 대한 추론

  

추론절차

단순선형회귀모델과 회귀모델의 기울기에 대해서는 이전 포스팅에서 아래와 같이 설명하였다. 

※단순선형회귀모델과 기울기의 계산

단순선형회귀모델은 다음과 같이 모델링된다.

단순선형회귀모델의 기울기는 다음과 같이 계산된다.

  

여기서, 가 정규 확률변수 표본추출(rvs, random variable sampling)의 선형조합이기 때문에, 기울기값 도 정규확률변수이다.

  ○ 가 확률변수라 볼 수 있으므로 다음과 같이 예상값(평균)과 분산이 계산될 수 있다.

결론적으로 는 다음과 같은 분포를 따른다.

기울기값  정규분포를 따른다면 아래같이 표준정규분포로 치환이 가능하며, 모집단의 분산과 표본분산의 비율은 카이제곱분포를 따른다. 

그렇다면 다음과 같은 관계가 성립한다.

위의 내용을 다시 정리하자면 다음과 같다.

 

위와 같이 t-분포를 따름을 알았으므로 다음과 같이 신뢰구간을 예측을 할 수 있다.

의 신뢰구간

그리고 이제 여기서는 신뢰구간에 대해 다뤄보고자 한다.

단순선형회귀모델에서 기울기에 대해 1-α 신뢰수준을 사용하는 양방향 신뢰구간은 다음과 같다.

1-α 신뢰수준을 사용하는 단방향 신뢰구간은 다음과 같다.

귀무가설검정

양방향 가설검정

양방향 가설검정은 다음과 같이 표현할 수 있다.

고정값 은 t-통계량을 사용하여 검정된다.

p-값은 다음과 같다.

확률변수 X는 n-2 자유도인 t-분포를 가진다.

크기가 α인 검정은 일때 귀무가설을 기각한다.

단방향 가설검정(하계)

단방향 가설검정은 다음과 같이 표현할 수 있다.

p-값은 다음과 같다.

크기가 α인 검정은 일때 귀무가설을 기각한다.

단방향 가설검정(상계)

단방향 가설검정은 다음과 같이 표현할 수 있다.

p-값은 다음과 같다.

크기가 α인 검정은 일 때 귀무가설을 기각한다.

여기서 주목할만한 점은 오차 분산 가 고정값이라면  값이 증가함에 따라 기울기 매개변수 추정치의 분산이 감소한다는 것이다. 

  ○ 이는 원인 변수 의 값이 아래 그림에 표시된 것처럼 더 널리 퍼지면서 발생한다. 

  ○ 이 결과는 값 의 더 큰 분산이 회귀선을 맞추기 위해 더 큰 "레버리지"를 제공하기 때문에 직관적으로 합리적이며, 따라서 기울기 모수 추정값 이 더 정확해진다.

회귀선의 추론

종족변수의 예상치에 대한 추론

원인변수 특정값 종속변수의 예상치를 고려할 수 있다.

여기서 단순선형회귀모델을 이용한 추정은 다음 식과 같다.

먼저 의 특성을 다음과 같이 고려할 수 있다.

는 정규확률변수이다.

따라서 다음과 같이 표현이 가능하다.

증명 과정

따라서 위의 데이터는 다음과 같이 표현이 가능하다.

신뢰구간의 추론

가 정규분포를 따르므로 다음과 같은 관계가 성립한다.

(에 대한 종속변수의 예상치)에 대한 1-α 신뢰수준의 양방향 신뢰구간은 다음과 같다.

여기서 표준오차는 다음과 같다.

단방향 신뢰구간은 다음과 같다. 

여기서 t-분포는 n-2 자유도를 가진다.