高等数学 / 系统课时
把矩阵拆成正交方向与尺度
把矩阵拆成正交方向与尺度
一个矩阵既可能旋转方向、改变尺度,也可能把某些方向压到低维。奇异值分解把这些作用拆成三个清晰步骤,让任意矩阵的线性变换都能用“正交变换—缩放—正交变换”来理解。
学习目标
- 写出奇异值分解 并说明三个因子的角色。
- 用单位圆到椭圆的几何过程解释右奇异向量、奇异值和左奇异向量。
- 说明 SVD 与 、矩阵秩之间的联系。
三个因子分别做什么
对任意 实矩阵 ,都存在分解
的列向量是右奇异向量,给出输入空间中的一组正交方向; 的对角元素是奇异值 ,负责沿这些方向缩放; 的列向量是左奇异向量,给出缩放后在输出空间中的正交方向。
因此计算 可以按从右到左理解:先用 把输入改写到右奇异向量坐标系,再由 分别拉伸或压缩各坐标,最后由 把结果转到输出空间。

单位圆为什么会变成椭圆
取右奇异向量 。由 SVD 可直接得到
这句话把几何含义压缩得很清楚:输入空间中沿 方向的单位向量,经过 后,会被送到输出空间的 方向,长度变成 。因为不同 彼此正交,单位圆上的主方向经过线性变换后就成为椭圆的主轴。
若某个 ,对应方向会被完全压扁;若奇异值很小,该方向虽然没有完全消失,但信息会被强烈压缩。长轴、短轴和被压扁的方向,都能直接从奇异值读出来。
奇异方向从哪里来
SVD 不是凭空找方向。由 可得
所以右奇异向量 是 的特征向量,而对应特征值是 。这也解释了为什么奇异值总是非负:它们可以看成 的非负特征值开平方。
当 时,还可以由 得到对应左奇异向量。于是 SVD 的计算逻辑可以概括为:先在输入空间找到彼此正交的特殊方向,再观察 把这些方向送到哪里、拉伸多少。
从奇异值直接看到秩
矩阵的秩等于非零奇异值的个数。若只有 个奇异值非零,说明 真正能够保留下来的独立方向只有 个;其余方向在变换中被压到零。
这也是 SVD 适用于任意矩阵而特征分解做不到的地方: 可以是非方阵, 和 分别服务于输出空间与输入空间。后续做低秩近似时,只需保留较大的奇异值及对应方向,就能优先保留矩阵最强的几何作用。
按自己的节奏,确认真正理解。