高等数学 / 系统课时

用伪逆求解欠定与病态问题

用伪逆求解欠定与病态问题

普通逆矩阵要求方阵且可逆,但真实线性系统经常是超定、欠定、奇异或接近奇异。Moore-Penrose 伪逆借助 SVD 为这些情况提供统一解法:无法精确求解时寻找最小二乘解,存在多个最优解时进一步选择范数最小者。

学习目标

  • 用 SVD 构造 Moore-Penrose 伪逆。
  • 解释超定系统的最小二乘解与欠定系统的最小范数解。
  • 识别极小奇异值带来的噪声放大,并用截断思想稳定求解。

普通逆为什么不够用

线性系统写成 Ax=bAx=b。只有当 AA 是可逆方阵时,才能直接写成 x=A−1bx=A^{-1}b。但三类常见情况会让这条路失效:

  • 超定系统的方程多于未知量,通常没有精确满足全部方程的解。
  • 欠定系统的未知量多于方程,即使可解也往往有无穷多个解。
  • 奇异或病态系统缺少稳定的普通逆,小扰动可能造成巨大解变化。

伪逆把问题从“必须存在普通逆”改成“在可达到的解中选择具有明确最优性质的一个”,因此同一套方法可以处理不同形状和秩的矩阵。

从 SVD 构造伪逆

对矩阵做奇异值分解:

A=UΣVT.A=U\Sigma V^T.

构造 Σ+\Sigma^+ 时,把每个保留下来的非零奇异值 σi\sigma_i 替换成 1/σi1/\sigma_i,并交换矩形对角矩阵的行列维度;被判定为零的奇异值仍保持为零。于是

A+=VΣ+UT,A^+=V\Sigma^+U^T,

系统的伪逆解为

x∗=A+b.x^*=A^+b.

利用 SVD 构造伪逆并求解线性系统

这个构造的关键不是形式上的“绕开零”,而是只在矩阵保留有效信息的方向上执行反向缩放。完全丢失的方向没有信息可恢复,因此不能人为赋予无限大的逆缩放。

同一个伪逆解对应不同最优性质

当系统超定时,通常无法做到 Ax=bAx=b。伪逆解属于二范数残差最小的解集合:

x∗∈arg min⁡x∥Ax−b∥2.x^*\in\operatorname*{arg\,min}_x\|Ax-b\|_2.

如果最小二乘解不唯一,A+bA^+b 还会在这些最小残差解中选择二范数最小的一个。

当系统欠定且方程一致时,会存在多个满足 Ax=bAx=b 的精确解。此时伪逆直接在这些解中选择欧氏范数最小者:

x∗=arg min⁡Ax=b∥x∥2.x^*=\operatorname*{arg\,min}_{Ax=b}\|x\|_2.

因此“最小二乘”和“最小范数”不是两套算法,而是 Moore-Penrose 伪逆在不同系统条件下体现出的统一最优性。

用 NumPy 验证欠定系统的最小范数解

考虑两个方程、三个未知量:

x1+x3=1,x2+x3=1.x_1+x_3=1,\qquad x_2+x_3=1.

它有无穷多个精确解。下面用 numpy.linalg.pinv 求伪逆解,并与另一个可行解比较范数。

python
import numpy as np

np.set_printoptions(precision=6, suppress=True)

A = np.array([
    [1.0, 0.0, 1.0],
    [0.0, 1.0, 1.0],
])
b = np.array([1.0, 1.0])

# pinv 直接构造 Moore-Penrose 伪逆,再求最小范数解。
x_star = np.linalg.pinv(A) @ b
x_other = np.array([1.0, 1.0, 0.0])

print("x* =", x_star)
print("A @ x* =", A @ x_star)
print("||x*|| =", np.linalg.norm(x_star))
print("||x_other|| =", np.linalg.norm(x_other))

预期输出

text
x* = [0.333333 0.333333 0.666667]
A @ x* = [1. 1.]
||x*|| = 0.816496580927726
||x_other|| = 1.4142135623730951

结果说明 x∗x^* 满足原方程,而且范数小于示例中的另一个精确解。事实上所有精确解都可写成 (1−t,1−t,t)(1-t,1-t,t),其范数在 t=2/3t=2/3 时达到最小,因此伪逆得到的正是 (1/3,1/3,2/3)(1/3,1/3,2/3)。

病态问题中不能机械地取倒数

若某个奇异值非常小,那么对应的 1/σi1/\sigma_i 会非常大。此时 bb 在相关左奇异向量方向上的一点噪声,也可能在解中被大幅放大。伪逆的数学定义并不会自动消除这种数值风险,因此实际计算必须规定“多小的奇异值不再可靠”。

numpy.linalg.pinv 会依据相对阈值把足够小的奇异值视为零,也可以通过 rcond 调整截断强度。阈值增大时,参与求逆的方向减少,通常能抑制噪声但会丢失更多信息;阈值减小时,保留信息更多,却更容易放大不稳定方向。

这就是截断 SVD 的核心取舍:不要试图逆转矩阵几乎已经丢失的信息方向。面对欠定、超定或秩亏系统时,伪逆给出了统一的最优解定义;面对病态数据时,还要结合奇异值尺度设置合理截断阈值,才能兼顾拟合能力与数值稳定性。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

用伪逆求解欠定与病态问题

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通