高等数学 / 系统课时
用伪逆求解欠定与病态问题
用伪逆求解欠定与病态问题
普通逆矩阵要求方阵且可逆,但真实线性系统经常是超定、欠定、奇异或接近奇异。Moore-Penrose 伪逆借助 SVD 为这些情况提供统一解法:无法精确求解时寻找最小二乘解,存在多个最优解时进一步选择范数最小者。
学习目标
- 用 SVD 构造 Moore-Penrose 伪逆。
- 解释超定系统的最小二乘解与欠定系统的最小范数解。
- 识别极小奇异值带来的噪声放大,并用截断思想稳定求解。
普通逆为什么不够用
线性系统写成 。只有当 是可逆方阵时,才能直接写成 。但三类常见情况会让这条路失效:
- 超定系统的方程多于未知量,通常没有精确满足全部方程的解。
- 欠定系统的未知量多于方程,即使可解也往往有无穷多个解。
- 奇异或病态系统缺少稳定的普通逆,小扰动可能造成巨大解变化。
伪逆把问题从“必须存在普通逆”改成“在可达到的解中选择具有明确最优性质的一个”,因此同一套方法可以处理不同形状和秩的矩阵。
从 SVD 构造伪逆
对矩阵做奇异值分解:
构造 时,把每个保留下来的非零奇异值 替换成 ,并交换矩形对角矩阵的行列维度;被判定为零的奇异值仍保持为零。于是
系统的伪逆解为

这个构造的关键不是形式上的“绕开零”,而是只在矩阵保留有效信息的方向上执行反向缩放。完全丢失的方向没有信息可恢复,因此不能人为赋予无限大的逆缩放。
同一个伪逆解对应不同最优性质
当系统超定时,通常无法做到 。伪逆解属于二范数残差最小的解集合:
如果最小二乘解不唯一, 还会在这些最小残差解中选择二范数最小的一个。
当系统欠定且方程一致时,会存在多个满足 的精确解。此时伪逆直接在这些解中选择欧氏范数最小者:
因此“最小二乘”和“最小范数”不是两套算法,而是 Moore-Penrose 伪逆在不同系统条件下体现出的统一最优性。
用 NumPy 验证欠定系统的最小范数解
考虑两个方程、三个未知量:
它有无穷多个精确解。下面用 numpy.linalg.pinv 求伪逆解,并与另一个可行解比较范数。
import numpy as np
np.set_printoptions(precision=6, suppress=True)
A = np.array([
[1.0, 0.0, 1.0],
[0.0, 1.0, 1.0],
])
b = np.array([1.0, 1.0])
# pinv 直接构造 Moore-Penrose 伪逆,再求最小范数解。
x_star = np.linalg.pinv(A) @ b
x_other = np.array([1.0, 1.0, 0.0])
print("x* =", x_star)
print("A @ x* =", A @ x_star)
print("||x*|| =", np.linalg.norm(x_star))
print("||x_other|| =", np.linalg.norm(x_other))预期输出
x* = [0.333333 0.333333 0.666667]
A @ x* = [1. 1.]
||x*|| = 0.816496580927726
||x_other|| = 1.4142135623730951结果说明 满足原方程,而且范数小于示例中的另一个精确解。事实上所有精确解都可写成 ,其范数在 时达到最小,因此伪逆得到的正是 。
病态问题中不能机械地取倒数
若某个奇异值非常小,那么对应的 会非常大。此时 在相关左奇异向量方向上的一点噪声,也可能在解中被大幅放大。伪逆的数学定义并不会自动消除这种数值风险,因此实际计算必须规定“多小的奇异值不再可靠”。
numpy.linalg.pinv 会依据相对阈值把足够小的奇异值视为零,也可以通过 rcond 调整截断强度。阈值增大时,参与求逆的方向减少,通常能抑制噪声但会丢失更多信息;阈值减小时,保留信息更多,却更容易放大不稳定方向。
这就是截断 SVD 的核心取舍:不要试图逆转矩阵几乎已经丢失的信息方向。面对欠定、超定或秩亏系统时,伪逆给出了统一的最优解定义;面对病态数据时,还要结合奇异值尺度设置合理截断阈值,才能兼顾拟合能力与数值稳定性。