特征值分解与奇异值分解

要理解奇异值分解，先从特征值开始，下面内容来自网络：

从上图看到，M的行向量【3，0】相当于把向量【x,y】的横坐标扩大了3倍。所以这个变换是一个对x，y轴的方向一个拉伸变换。

而上图M的行向量【1，1】相当于把向量【x,y】的横轴旋转到了ix+jy的方向。所以这个变换是一个对x，y轴的方向一个旋转变换。

总结一下，特征值分解可以得到特征值与特征向量，特征值表示这个特征有多重要，特征向量表示这个特征是什么。

特征值分解是相对于方阵而言，如果不是方阵呢？那就要用到奇异值分解。

假设A是一个mxn矩阵，则

(1)如果一个矩阵A的元素都是实数，则A=A′，厄米特矩阵就是对称矩阵。

(2)如果A是对称矩阵，C是正交矩阵，则C^(-1)AC是对称矩阵。

可以得到：

上图表明，奇异值分解就是要把矩阵A分解成酉矩阵和对角矩阵相乘的形式。我们知道，对于方程组AX=b来说，当A是一个对角矩阵的时候，是可以直接求出x来的。这也是奇异值分解的目的。

最后看一个奇异值分解的应用：

无论特征值分解还是奇异值分解，其目的都是为了对方程Ax=b进行求解。