AI 与工程数学 / 系统课时
用 QR 分解提升最小二乘稳定性
用 QR 分解提升最小二乘稳定性
最小二乘可以写成正规方程直接求解,但这条看似简洁的路径会把矩阵的病态性进一步放大。本节从条件数出发,对比正规方程和 QR 分解,并用可运行示例验证为什么数值计算中通常应避免显式形成 。
学习目标
- 理解正规方程为什么会放大最小二乘问题的条件数
- 掌握通过 QR 分解求解最小二乘参数的基本过程
- 能根据矩阵性质在正规方程、QR 与更稳健方法之间做选择
正规方程为什么会放大病态性
线性最小二乘希望找到参数向量 ,使残差 尽可能小。若 满列秩,对目标函数求极值得到正规方程:
于是可以先计算 和 ,再解一个线性方程组。这条路线计算过程直观,但有一个重要的数值问题:对常用的 2-范数条件数,有近似关系
例如 时,形成 后条件数会达到约 。浮点数舍入误差、数据噪声和矩阵中原本很小的扰动因此更容易被放大。
这里的问题并不是矩阵乘法本身错误,而是主动构造 改变了数值问题的难度。特征高度相关、特征尺度相差很大,或者设计矩阵接近秩亏时,这种影响尤其明显。

QR 分解如何绕开平方效应
若 满列秩,可以将它分解为
其中 的列正交, 是上三角矩阵。因为正交变换不会放大 2-范数,所以最小化残差可以转化为先计算 ,再求解
整个过程都不需要显式构造 。因此,QR 分解避免了条件数被平方这一额外风险,并且最后只需解一个上三角方程。
这不意味着 QR 能消除原始数据中的病态性。如果 本身已经极度接近秩亏,问题依然敏感;QR 的价值在于不额外把这个问题恶化一次。
用 NumPy 对比两条路径
下面故意构造一个不同方向尺度相差很大的矩阵。这个例子结构简单,目的是把条件数变化直接展示出来,而不是制造一个只有正规方程才会得到错误答案的特殊案例。
import numpy as np
X = np.array([
[1.0, 0.0, 0.0],
[0.0, 1e-2, 0.0],
[0.0, 0.0, 1e-4],
[0.0, 0.0, 0.0],
])
beta_true = np.array([1.0, 2.0, 3.0])
y = X @ beta_true
# 正规方程:显式形成 X^T X。
beta_normal = np.linalg.solve(X.T @ X, X.T @ y)
# QR 路径:直接在原始设计矩阵上做正交分解。
Q, R = np.linalg.qr(X, mode='reduced')
beta_qr = np.linalg.solve(R, Q.T @ y)
print(f'cond(X) = {np.linalg.cond(X):.0f}')
print(f'cond(X^T X) = {np.linalg.cond(X.T @ X):.0f}')
print('normal =', beta_normal)
print('qr =', beta_qr)预期输出:
cond(X) = 10000
cond(X^T X) = 100000000
normal = [1. 2. 3.]
qr = [1. 2. 3.]这个简单数据恰好让两条路线都恢复出相同参数,但条件数已经从 上升到 。不要把“这一次答案相同”理解成两种算法数值稳定性相同;当矩阵更复杂、测量存在噪声或浮点误差累积时,正规方程通常更容易损失有效精度。
什么时候优先使用 QR
对于满列秩、规模中等的稠密最小二乘问题,QR 是很常见的默认选择。尤其是特征存在一定相关性、数据尺度跨度较大,或者你更关注可靠性而不是省下少量计算时,不应为了公式简洁而主动形成 。
如果矩阵已经接近秩亏,仅仅换成普通 QR 还不够。此时可以使用带列主元的 QR 判断有效秩,或者进一步采用 SVD。SVD 通常计算成本更高,但能更直接地暴露很小的奇异值,因此适合处理严重病态和秩亏问题。
正规方程并非绝对禁止:当问题条件良好、性能经过测量且误差要求允许时,它仍可能出现在经过专门设计的实现中。但对于一般工程代码,一个可靠的经验规则是:先把 QR 或库提供的最小二乘求解器作为默认路径,只有明确证明值得时才退回正规方程。