SVD(Singular Value Decomposition)

SVD는 eigenvalue decomposition의 여러 한계를 극복합니다.

1. n×n이 아닌 행렬도 분해를 할 수 있습니다.
2. symmetric matrix가 아닌 행렬도 분해를 할 수 있습니다.

SVD는 행렬을 $A = U \Sigma V^T$로 분해하는데 UΣV^T는 각각 m×m,m×n,n×n의 shape을 가지는 행렬입니다.

SVD는 transpose의 성질을 이용합니다.

• $AA^T$와 $A^TA$는 symmetric matrix, square matrix이다.

 $A = U \Sigma V^T, AA^T = U \Sigma V^T V \Sigma^T U^T = U \Sigma \Sigma^T U^T = Q \Lambda Q^{T}$

임의의 행렬A에 대해 $AA^T$를eigenvalue decomposition하면 U와 를 구할 수 있습니다. 마찬가지로 $A^TA$를 분해해 V를 구할 수 있습니다.