高等数学 / 系统课时
用矩阵范数衡量误差大小
用矩阵范数衡量误差大小
矩阵近似不能只说“差得不多”,还需要一个可比较的误差尺度。本节把向量范数推广到矩阵,重点掌握 Frobenius 范数与谱范数,并用它们判断低秩近似究竟丢失了多少信息。
学习目标
- 区分常用向量范数与矩阵范数各自在衡量什么
- 用 Frobenius 范数计算整体元素误差和相对误差
- 用谱范数理解最坏方向的放大误差,并联系 SVD 的奇异值
从向量长度到矩阵大小
向量范数把一个向量压缩成一个非负数,用来描述“有多大”。常见的三种向量范数是 、 和 ,分别对应绝对值之和、欧氏长度和最大绝对分量。
矩阵同样需要“大小”的度量。一个合格的矩阵范数应满足非负性、齐次性与三角不等式。不同矩阵范数关注的角度不同,因此同一个误差矩阵在不同范数下可能得到不同结论。
Frobenius 范数看整体元素误差
Frobenius 范数把矩阵所有元素的平方加总后开方:
它可以理解为把矩阵按行展开成一个长向量后再计算二范数,因此特别适合衡量“所有元素合起来”的总误差。
例如 ,则
若用 近似 ,误差矩阵是 。绝对误差可写为 ;当不同数据集的矩阵尺度差别很大时,更常看相对误差:
这个值越小,说明近似矩阵在整体元素意义下越接近原矩阵。
谱范数看最坏方向的放大
谱范数关注的不是所有元素,而是矩阵对向量长度的最大放大倍数:
对任意矩阵,谱范数恰好等于最大奇异值 。因此,如果误差矩阵为 ,那么 表示这个误差在最不利输入方向上最多能把结果扰动到什么程度。
仍取 ,它的奇异值是 4 和 3,所以 。同一矩阵的 Frobenius 范数是 5,这说明两种范数回答的是不同问题:前者看最强方向,后者看全部元素的总体能量。
用 SVD 直接读出低秩近似误差
设矩阵的奇异值满足 ,保留前 个奇异值形成最佳秩 近似 。被舍弃的奇异值直接决定误差:
谱范数只看被丢弃部分中最大的奇异值,因此适合关心“最坏方向是否仍然可靠”的问题;Frobenius 范数累计所有被丢弃奇异值的能量,更适合图像压缩、降维等关注整体重构质量的场景。
| 范数 | 主要回答的问题 | SVD 中的含义 |
|---|---|---|
| Frobenius 范数 | 全部元素合起来误差多大 | 所有相关奇异值平方和再开方 |
| 谱范数 | 最坏方向误差多大 | 最大相关奇异值 |
选择范数时不要只看哪个数值更小,而要先明确业务关心的是整体重构还是最坏方向。对 SVD 低秩近似,这两种范数都能直接由奇异值计算,因此既便于解释,也便于比较不同截断阶数。