단순 회귀 모형 - 최소 제곱법(최소 자승법)

· 최소 제곱법(최소 자승법, Least Square)

만약 회귀 모형에서 직선의 식을 정의할 때 사람마다 정의하는 직선의 식이 다르다면 어떻게 될까?

아마 예측값을 제시할 때 자신의 식이 옳다고 주장할 것이다. 

 

그렇기 때문에 이 직선의 식의 오류(오차)를 최소화하기 위해 만들어진 것이 최소 제곱법이다.

이해하기 쉽게 대강 그림으로 묘사하면 다음과 같다.

위에서 추정된 직선이 점차 잔차의 제곱합들이 최소가 되는 지점이 바로 실제 직선에 가까워진다는 개념이다.

 

 

· 최소 제곱법에 근거하여 기울기 b1과 절편 b0 유추하기

위에서 설명했지만 최대한 실제 직선에 가깝게 유추하는 것이 가장 중요하다. 그렇기 때문에 최소 제곱법에 의한 기울기와 절편은 무엇보다도 중요하다고 할 수 있다.

 

 

최소 제곱법에 의하여 기울기와 절편을 구하는 방법은 위에서 설명한 Q(오차 제곱합의 값)가 최소화 하는 β0과 β1을 찾는 것이다. 이렇게 찾은 추정값 b0와 b1은 최소 제곱 추정량이라고 한다.

이렇게 얻어낸 직석식이 바로 yhet = b0 + b1 * xi 이다.