목록선형대수학 (14)
프랙티스만이 살길. 프랙티스만이 살길.
![](http://i1.daumcdn.net/thumb/C150x150/?fname=https://blog.kakaocdn.net/dn/eewXzY/btsno5Zg8ax/K8KPDXN1qiwejTOpuJAq8K/img.png)
주성분 분석(Principal Component Analysis, PCA)는 데이터의 분포를 가장 잘 설명하는 축(데이터의 변동성을 최대화하는 새로운 축)을 찾아 이 축으로 데이터를 투영하여 차원을 축소합니다. 첫 번째 주성분은 데이터의 분산이 가장 큰 방향이고, 두 번째 주성분은 두번째로 가장 분산이 큰 첫번째 주성분에 직교하는 방향이다. $\tilde{d}_i = \begin{bmatrix} x_i \\ y_i \\ \end{bmatrix}$는 원래의 데이터를 의미하고, $\bar{d} = \begin{bmatrix} \bar{x} \\ \bar{y} \\ \end{bmatrix}$는 데이터 들의 평균을 의미한다. $d_i = \tilde{d}_i - \bar{d}$를 의미해 원점을 중심으로 이동시간..
![](http://i1.daumcdn.net/thumb/C150x150/?fname=https://blog.kakaocdn.net/dn/BpNXt/btsl9uZQYjp/LvkXAOu4K7Od5Ua1pky3S1/img.png)
LSE(least squares estimation)는 주어진 데이터 포인트들과 그에 대응하는 예측값 사이의 오차를 최소화하는 방법입니다. 어떤 행렬 A의 column space위에 존재하지 않는 벡터 b가 있을때. b룰 c(a)에 정사영을 내린 벡터 AX̂을 찾는 방법입니다. b - AX̂를 e라고 하면 $||e||^2$가 가장 작을때 AX̂가 b의 정사영이 됩니다. $(b - A\hat{X})^{T}A\hat{X} = 0$ $(b^{T}A - \hat{X}^{T}A^{T}A)\hat{X} = 0$ $b^{T}A = \hat{X}^{T}A^{T}A \Leftrightarrow A^{T}b = A^{T}A\hat{X}$ $A^{T}b = A^{T}A\hat{X}$를 정규방정식(normal equation..