프랙티스만이 살길. 프랙티스만이 살길.
LSE, normal equation 본문
LSE(least squares estimation)는 주어진 데이터 포인트들과 그에 대응하는 예측값 사이의 오차를 최소화하는 방법입니다.
어떤 행렬 A의 column space위에 존재하지 않는 벡터 b가 있을때. b룰 c(a)에 정사영을 내린 벡터 AX̂을 찾는 방법입니다.
b - AX̂를 e라고 하면 $||e||^2$가 가장 작을때 AX̂가 b의 정사영이 됩니다.
$(b - A\hat{X})^{T}A\hat{X} = 0$
$(b^{T}A - \hat{X}^{T}A^{T}A)\hat{X} = 0$
$b^{T}A = \hat{X}^{T}A^{T}A \Leftrightarrow A^{T}b = A^{T}A\hat{X}$
$A^{T}b = A^{T}A\hat{X}$를 정규방정식(normal equation)이라 부릅니다.
즉, $\hat{X} = (A^{T}A)^{-1}A^{T}b$이다.
$A\hat{X} = A(A^{T}A)^{-1}A^{T}b$의 $A(A^{T}A)^{-1}A^{T}$를 projection matrix라고 부릅니다.