高等数学 / 系统课时
从奇异值重新理解矩阵秩
从奇异值重新理解矩阵秩
矩阵秩常被理解成“最多有多少个线性无关的行或列”,而 SVD 提供了更直接的视角:秩就是非零奇异值的个数。沿着这个视角,还能同时读出列空间、行空间与两个零空间,并进一步区分严格降秩和数值上接近降秩。
学习目标
- 用奇异值数量重新表述矩阵秩。
- 从完整 SVD 中读出列空间、行空间和两个零空间。
- 区分零奇异值与极小奇异值,理解数值秩为什么需要容差。
秩就是非零奇异值的个数
对任意 矩阵 ,完整奇异值分解写成
其中奇异值按从大到小排列:
如果恰好有 个奇异值严格大于零,那么
和 是正交矩阵,只负责改变正交基;真正决定有多少个方向能够通过线性变换保留下来的,是 。当某个奇异值为零时,对应输入方向会被压缩成零向量,因此不再贡献独立的输出方向。
例如奇异值为 时,矩阵秩为 2。相比只得到一个秩值,SVD 还会给出这两个有效方向分别对应哪些奇异向量,因此能继续解释矩阵保留和丢失了什么信息。
奇异向量如何对应四个基本子空间
设 的秩为 。右奇异向量 表示输入空间中的正交方向,左奇异向量 表示相应的输出方向。对前 个成对方向,有
当 时, 被映射到非零方向 ;当对应奇异值为零时,该输入方向会落入零空间。使用完整 SVD 时,四个基本子空间可以直接写成:
- 列空间:。
- 左零空间:。
- 行空间:。
- 零空间:。

这组关系说明了秩的几何含义: 既是输入空间中能够被矩阵有效传递的独立方向数,也是输出空间中真正能够到达的独立方向数。对于矩形矩阵,使用完整的 和 尤其重要,因为两个零空间的维数分别还受 和 影响。
零奇异值和极小奇异值不是一回事
零奇异值表示存在非零方向 满足 ,矩阵在这个方向上彻底丢失信息,因此属于严格降秩。
极小但非零的奇异值表示信息仍然存在,只是被压缩得非常厉害。反过来求解输入时,这种弱方向上的误差可能被显著放大,所以矩阵虽然在数学上仍是满秩的,数值计算却可能已经很不稳定。
对满秩方阵,常用二范数条件数
衡量这种敏感性。最小奇异值越接近零,条件数通常越大,矩阵也越接近奇异。因此,“严格秩是多少”和“这个秩在有限精度下是否可靠”是两个不同问题。
数值秩取决于容差和数据尺度
实际计算通常把低于某个容差的奇异值视为零。常见的机器精度型阈值可以写成
其中 是所用浮点类型的机器精度, 是最大奇异值。随后把满足 的奇异值计入数值秩。这个公式适合作为默认尺度,但真实数据含有测量噪声时,容差还应结合噪声水平和业务允许误差确定。
假设某矩阵的奇异值为 。在纯数学意义下,只要 不等于零,它仍贡献一个秩;但如果该值已经小于当前问题可分辨的尺度,就可以把对应方向视为无效,从而得到数值秩 2。
因此,SVD 不只是另一种计算秩的方法。它把矩阵的有效方向按强弱排列起来:非零奇异值决定严格秩,极小奇异值暴露近似线性相关和病态性,而对应奇异向量则明确指出信息在哪些方向上被保留、削弱或完全丢失。