高等数学 / 系统课时

从奇异值重新理解矩阵秩

从奇异值重新理解矩阵秩

矩阵秩常被理解成“最多有多少个线性无关的行或列”,而 SVD 提供了更直接的视角:秩就是非零奇异值的个数。沿着这个视角,还能同时读出列空间、行空间与两个零空间,并进一步区分严格降秩和数值上接近降秩。

学习目标

  • 用奇异值数量重新表述矩阵秩。
  • 从完整 SVD 中读出列空间、行空间和两个零空间。
  • 区分零奇异值与极小奇异值,理解数值秩为什么需要容差。

秩就是非零奇异值的个数

对任意 m×nm\times n 矩阵 AA,完整奇异值分解写成

A=UΣVT.A=U\Sigma V^T.

其中奇异值按从大到小排列:

σ1≥σ2≥⋯≥σp≥0,p=min⁡(m,n).\sigma_1\ge\sigma_2\ge\cdots\ge\sigma_p\ge0,\quad p=\min(m,n).

如果恰好有 rr 个奇异值严格大于零,那么

rank⁡(A)=r.\operatorname{rank}(A)=r.

UU 和 VV 是正交矩阵,只负责改变正交基;真正决定有多少个方向能够通过线性变换保留下来的,是 Σ\Sigma。当某个奇异值为零时,对应输入方向会被压缩成零向量,因此不再贡献独立的输出方向。

例如奇异值为 [7,3,0,0][7,3,0,0] 时,矩阵秩为 2。相比只得到一个秩值,SVD 还会给出这两个有效方向分别对应哪些奇异向量,因此能继续解释矩阵保留和丢失了什么信息。

奇异向量如何对应四个基本子空间

设 AA 的秩为 rr。右奇异向量 viv_i 表示输入空间中的正交方向,左奇异向量 uiu_i 表示相应的输出方向。对前 pp 个成对方向,有

Avi=σiui.Av_i=\sigma_i u_i.

当 σi>0\sigma_i>0 时,viv_i 被映射到非零方向 uiu_i;当对应奇异值为零时,该输入方向会落入零空间。使用完整 SVD 时,四个基本子空间可以直接写成:

  • 列空间:span⁡(u1,…,ur)\operatorname{span}(u_1,\ldots,u_r)。
  • 左零空间:span⁡(ur+1,…,um)\operatorname{span}(u_{r+1},\ldots,u_m)。
  • 行空间:span⁡(v1,…,vr)\operatorname{span}(v_1,\ldots,v_r)。
  • 零空间:span⁡(vr+1,…,vn)\operatorname{span}(v_{r+1},\ldots,v_n)。

SVD 中奇异值与四个基本子空间的对应关系

这组关系说明了秩的几何含义:rr 既是输入空间中能够被矩阵有效传递的独立方向数,也是输出空间中真正能够到达的独立方向数。对于矩形矩阵,使用完整的 UU 和 VV 尤其重要,因为两个零空间的维数分别还受 mm 和 nn 影响。

零奇异值和极小奇异值不是一回事

零奇异值表示存在非零方向 vv 满足 Av=0Av=0,矩阵在这个方向上彻底丢失信息,因此属于严格降秩。

极小但非零的奇异值表示信息仍然存在,只是被压缩得非常厉害。反过来求解输入时,这种弱方向上的误差可能被显著放大,所以矩阵虽然在数学上仍是满秩的,数值计算却可能已经很不稳定。

对满秩方阵,常用二范数条件数

κ2(A)=σmax⁡σmin⁡\kappa_2(A)=\frac{\sigma_{\max}}{\sigma_{\min}}

衡量这种敏感性。最小奇异值越接近零,条件数通常越大,矩阵也越接近奇异。因此,“严格秩是多少”和“这个秩在有限精度下是否可靠”是两个不同问题。

数值秩取决于容差和数据尺度

实际计算通常把低于某个容差的奇异值视为零。常见的机器精度型阈值可以写成

τ=max⁡(m,n) ε σ1.\tau=\max(m,n)\,\varepsilon\,\sigma_1.

其中 ε\varepsilon 是所用浮点类型的机器精度,σ1\sigma_1 是最大奇异值。随后把满足 σi>τ\sigma_i>\tau 的奇异值计入数值秩。这个公式适合作为默认尺度,但真实数据含有测量噪声时,容差还应结合噪声水平和业务允许误差确定。

假设某矩阵的奇异值为 [8,2,10−12,0][8,2,10^{-12},0]。在纯数学意义下,只要 10−1210^{-12} 不等于零,它仍贡献一个秩;但如果该值已经小于当前问题可分辨的尺度,就可以把对应方向视为无效,从而得到数值秩 2。

因此,SVD 不只是另一种计算秩的方法。它把矩阵的有效方向按强弱排列起来:非零奇异值决定严格秩,极小奇异值暴露近似线性相关和病态性,而对应奇异向量则明确指出信息在哪些方向上被保留、削弱或完全丢失。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

从奇异值重新理解矩阵秩

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通