高等数学 / 系统课时

用矩阵范数衡量误差大小

用矩阵范数衡量误差大小

矩阵近似不能只说“差得不多”,还需要一个可比较的误差尺度。本节把向量范数推广到矩阵,重点掌握 Frobenius 范数与谱范数,并用它们判断低秩近似究竟丢失了多少信息。

学习目标

  • 区分常用向量范数与矩阵范数各自在衡量什么
  • 用 Frobenius 范数计算整体元素误差和相对误差
  • 用谱范数理解最坏方向的放大误差,并联系 SVD 的奇异值

从向量长度到矩阵大小

向量范数把一个向量压缩成一个非负数,用来描述“有多大”。常见的三种向量范数是 ∥x∥1\lVert x\rVert_1、∥x∥2\lVert x\rVert_2 和 ∥x∥∞\lVert x\rVert_\infty,分别对应绝对值之和、欧氏长度和最大绝对分量。

矩阵同样需要“大小”的度量。一个合格的矩阵范数应满足非负性、齐次性与三角不等式。不同矩阵范数关注的角度不同,因此同一个误差矩阵在不同范数下可能得到不同结论。

Frobenius 范数看整体元素误差

Frobenius 范数把矩阵所有元素的平方加总后开方:

∥A∥F=∑i,jaij2\lVert A\rVert_F = \sqrt{\sum_{i,j} a_{ij}^2}

它可以理解为把矩阵按行展开成一个长向量后再计算二范数,因此特别适合衡量“所有元素合起来”的总误差。

例如 A=diag⁡(3,4)A=\operatorname{diag}(3,4),则

∥A∥F=32+42=5\lVert A\rVert_F = \sqrt{3^2+4^2}=5

若用 A^\hat A 近似 AA,误差矩阵是 E=A−A^E=A-\hat A。绝对误差可写为 ∥E∥F\lVert E\rVert_F;当不同数据集的矩阵尺度差别很大时,更常看相对误差:

∥A−A^∥F∥A∥F\frac{\lVert A-\hat A\rVert_F}{\lVert A\rVert_F}

这个值越小,说明近似矩阵在整体元素意义下越接近原矩阵。

谱范数看最坏方向的放大

谱范数关注的不是所有元素,而是矩阵对向量长度的最大放大倍数:

∥A∥2=max⁡x≠0∥Ax∥2∥x∥2\lVert A\rVert_2 = \max_{x\ne 0}\frac{\lVert Ax\rVert_2}{\lVert x\rVert_2}

对任意矩阵,谱范数恰好等于最大奇异值 σ1\sigma_1。因此,如果误差矩阵为 EE,那么 ∥E∥2\lVert E\rVert_2 表示这个误差在最不利输入方向上最多能把结果扰动到什么程度。

仍取 A=diag⁡(3,4)A=\operatorname{diag}(3,4),它的奇异值是 4 和 3,所以 ∥A∥2=4\lVert A\rVert_2=4。同一矩阵的 Frobenius 范数是 5,这说明两种范数回答的是不同问题:前者看最强方向,后者看全部元素的总体能量。

用 SVD 直接读出低秩近似误差

设矩阵的奇异值满足 σ1≥σ2≥⋯\sigma_1\ge\sigma_2\ge\cdots,保留前 kk 个奇异值形成最佳秩 kk 近似 AkA_k。被舍弃的奇异值直接决定误差:

∥A−Ak∥2=σk+1\lVert A-A_k\rVert_2 = \sigma_{k+1}
∥A−Ak∥F=∑i>kσi2\lVert A-A_k\rVert_F = \sqrt{\sum_{i>k}\sigma_i^2}

谱范数只看被丢弃部分中最大的奇异值,因此适合关心“最坏方向是否仍然可靠”的问题;Frobenius 范数累计所有被丢弃奇异值的能量,更适合图像压缩、降维等关注整体重构质量的场景。

范数 主要回答的问题 SVD 中的含义
Frobenius 范数 全部元素合起来误差多大 所有相关奇异值平方和再开方
谱范数 最坏方向误差多大 最大相关奇异值

选择范数时不要只看哪个数值更小,而要先明确业务关心的是整体重构还是最坏方向。对 SVD 低秩近似,这两种范数都能直接由奇异值计算,因此既便于解释,也便于比较不同截断阶数。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

用矩阵范数衡量误差大小

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通