高等数学 / 系统课时

诊断病态方程的误差放大

诊断病态方程的误差放大

线性方程组即使存在唯一解,也可能对微小输入误差极端敏感。本篇用一个近奇异系统直接制造扰动,观察解如何被放大,再用条件数、最小奇异值和变量缩放区分“结构性接近奇异”与“只是量纲失衡”。

学习目标

  • 用条件数判断线性求解对输入扰动的最坏敏感程度。
  • 从最小奇异值解释近奇异系统为何会放大误差。
  • 判断缩放何时能改善数值条件,何时只能缓解量纲问题。

条件数先回答“会不会放大”

对 Ax=bAx=b,矩阵可逆并不等于数值上稳定。若只考虑右端项扰动,可把相对扰动记为 rbr_b,解的相对变化记为 rxr_x。在小扰动范围内,二范数条件数给出最坏方向上的放大尺度:rx≲κ2(A)rbr_x ≲ κ_2(A)r_b。

当 κ2(A)κ_2(A) 接近 1 时,各方向缩放较均匀;当它达到几千、几百万甚至更高时,只保留有限位数的数据、测量噪声或舍入误差都可能明显改变解。条件数描述的是最坏敏感性,不意味着每次扰动都会刚好放大 κ2(A)κ_2(A) 倍。

最小奇异值揭示危险方向

将矩阵写成 A=UΣVTA=UΣV^T。较大的奇异值表示对应方向被明显保留,极小的 σminσ_{min} 表示某个输入方向经过 AA 后几乎被压扁。求逆时要除以这些奇异值,因此沿最小奇异值方向的微小输出扰动会被重新放大。

条件数正是 κ2(A)=σmax/σminκ_2(A)=σ_{max}/σ_{min}。所以诊断病态系统时,不只看“行列式是否非零”,还要看 σminσ_{min} 是否已经小到与数据误差尺度接近。

近奇异系统的误差放大机制

用扰动实验观察误差放大

下面的矩阵两列几乎平行。脚本先求原方程,再只把 bb 的第二个分量增加 0.001;同时打印奇异值、条件数和相对误差。最后再用一个纯量纲失衡的对角矩阵说明列缩放能做什么。

python
import numpy as np

A = np.array([[1.0, 1.0],
              [1.0, 1.001]])
x_true = np.array([1.0, 1.0])
b = A @ x_true

x0 = np.linalg.solve(A, b)
b_perturbed = b + np.array([0.0, 0.001])
x1 = np.linalg.solve(A, b_perturbed)

singular_values = np.linalg.svd(A, compute_uv=False)
condition_number = np.linalg.cond(A)
relative_b = np.linalg.norm(b_perturbed - b) / np.linalg.norm(b)
relative_x = np.linalg.norm(x1 - x0) / np.linalg.norm(x0)

print(f"singular_values=[{singular_values[0]:.6f}, {singular_values[1]:.6f}]")
print(f"condition_number={condition_number:.3f}")
print(f"relative_b_perturbation={relative_b:.6f}")
print(f"relative_x_change={relative_x:.6f}")
print(f"solution_before=[{x0[0]:.1f}, {x0[1]:.1f}]")
print(f"solution_after=[{x1[0]:.1f}, {x1[1]:.1f}]")

# 这个矩阵的高条件数主要来自两个变量尺度相差 10^6。
C = np.diag([1.0, 1e-6])
C_scaled = C / np.linalg.norm(C, axis=0)
print(f"scale_only_cond_before={np.linalg.cond(C):.1f}")
print(f"scale_only_cond_after={np.linalg.cond(C_scaled):.1f}")

预期输出

text
singular_values=[2.000500, 0.000500]
condition_number=4002.001
relative_b_perturbation=0.000353
relative_x_change=1.000000
solution_before=[1.0, 1.0]
solution_after=[0.0, 2.0]
scale_only_cond_before=1000000.0
scale_only_cond_after=1.0

右端项只变化约 0.035%,解却从 [1,1][1,1] 变成 [0,2][0,2],相对变化达到 100%。这里真正的风险来自两列近乎线性相关;这类结构性病态不会因为简单归一化就消失。

缩放只能修复坐标尺度问题

若不同变量分别以米、微米或不同数量级表示,列范数差异本身会把条件数推高。此时可先对变量做标准化、列归一化或使用合理的物理尺度,再在新坐标系中求解。示例中的 CC 经列缩放后变成单位尺度,因此条件数从 10610^6 降到 1。

但缩放不是“治疗近奇异”的万能手段。若两个特征本身几乎重复,应该考虑删除冗余变量、改用 QR/SVD 求最小二乘、加入正则化,或重新采集能区分这些方向的数据。实际诊断时先看 σminσ_{min} 与奇异值谱,再结合变量尺度判断根因,避免只凭一个很大的条件数就贸然改模型。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

诊断病态方程的误差放大

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通