高等数学 / 系统课时

用截断SVD做低秩近似

用截断SVD做低秩近似

截断 SVD 的目标,是用更少的奇异方向逼近原矩阵,同时知道自己丢掉了多少信息。本篇从完整 SVD 出发,构造秩不超过 kk 的近似矩阵,并用奇异值直接计算最优误差与保留比例。

学习目标

  • 能由完整 SVD 写出截断 SVD 与低秩近似矩阵
  • 能用奇异值计算谱范数误差、Frobenius 误差和能量保留率
  • 能根据奇异值衰减速度判断合适的截断阶数 kk

从完整 SVD 截取主导成分

设矩阵 A∈Rm×nA\in\mathbb{R}^{m\times n} 的秩为 rr,其紧致 SVD 为

A=UΣVT=∑i=1rσiuiviT,A=U\Sigma V^T=\sum_{i=1}^{r}\sigma_i u_i v_i^T,

其中 σ1≥σ2≥⋯≥σr>0\sigma_1\ge\sigma_2\ge\cdots\ge\sigma_r>0。每一项 σiuiviT\sigma_i u_i v_i^T 都是一个秩为 1 的矩阵,奇异值越大,这一项对整体矩阵的贡献越强。

保留前 kk 个奇异三元组,就得到截断 SVD:

Ak=UkΣkVkT=∑i=1kσiuiviT.A_k=U_k\Sigma_k V_k^T=\sum_{i=1}^{k}\sigma_i u_i v_i^T.

AkA_k 的秩不超过 kk。原本需要同时描述许多行列关系的矩阵,被压缩为 kk 个主导方向及其权重。

从完整SVD截取前k个奇异成分

为什么它是最佳低秩近似

截断 SVD 不只是一个直观压缩方法。Eckart–Young–Mirsky 定理说明:在所有秩不超过 kk 的矩阵中,AkA_k 同时给出谱范数和 Frobenius 范数下的最佳近似。

∥A−Ak∥2=σk+1,\lVert A-A_k\rVert_2=\sigma_{k+1},
∥A−Ak∥F=∑i=k+1rσi2.\lVert A-A_k\rVert_F=\sqrt{\sum_{i=k+1}^{r}\sigma_i^2}.

这两个公式把“截断损失”完全转化为被舍弃的奇异值。谱范数只看最大的剩余方向,因此误差由 σk+1\sigma_{k+1} 决定;Frobenius 范数把所有舍弃方向的平方能量累加。

用奇异值选择截断阶数

常用的选择依据是累计能量保留率:

ηk=∑i=1kσi2∑i=1rσi2.\eta_k=\frac{\sum_{i=1}^{k}\sigma_i^2}{\sum_{i=1}^{r}\sigma_i^2}.

例如奇异值为 12,4,112,4,1。取 k=2k=2 时,累计能量保留率为 160/161≈99.38%160/161\approx99.38\%,Frobenius 截断误差为 11。这说明第三个方向对整体平方能量贡献很小,保留前两个方向通常已经能很好地逼近原矩阵。

但阈值不是固定规则。如果奇异值下降很快,小 kk 就可能有效;如果奇异值接近持平,则不存在明显的低秩结构,过度截断会丢失大量信息。实际任务中还应结合存储预算、计算成本和允许误差共同选取 kk。

低秩近似保留与舍弃的内容

截断 SVD 优先保留的是全局上最强的正交变化方向,而不是逐个元素保证误差都很小。因此它适合压缩、去噪和潜在结构提取,但不能保证某个局部区域或少数异常值被完整保存。

从计算角度看,只保存 UkU_k、Σk\Sigma_k 和 VkV_k 时,参数量大约从 mnmn 降为 k(m+n+1)k(m+n+1)。当 k≪min⁡(m,n)k\ll\min(m,n) 且奇异值衰减明显时,既能降低存储与计算量,又能用上面的误差公式明确量化代价。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

用截断SVD做低秩近似

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通