高等数学 / 系统课时
用QR分解稳定求最小二乘
用QR分解稳定求最小二乘
正规方程能给出最小二乘解,但显式形成 会放大病态性。QR 分解把列空间几何结构保留下来,再把问题化成上三角方程,因此既便于计算,也通常比正规方程更稳定。
学习目标
- 说明 中正交矩阵 与上三角矩阵 各自承担的作用
- 从最小二乘目标推导
- 比较 QR 分解与正规方程在数值稳定性和计算方式上的差异
QR为什么能简化最小二乘
对满列秩矩阵 ,薄 QR 分解写成
其中 的列两两正交且长度为 1,因此 ; 是可逆上三角矩阵。
最小二乘目标为
的列张成的空间与 的列空间完全相同。把 投影到这个空间后,真正需要匹配的是其坐标 ,因此最优解满足
这样就不必构造 ,只需要做一次 QR 分解、一次矩阵向量乘法,再用回代求解上三角系统。

用同一组数据计算
仍拟合三个点 、、,令
对 的两列做正交化,可得到
先计算右端:
于是只需解
从第二行开始回代,先得 ,再代入第一行得到 。最终
与正规方程得到的数学解一致,但计算路径不同:QR 直接操作 的正交基,不经过 。
为什么QR通常更稳定
正规方程与 QR 的核心差异不在于“答案公式不同”,而在于中间计算是否恶化条件数。
| 方法 | 主要计算 | 数值影响 | 典型求解步骤 |
|---|---|---|---|
| 正规方程 | 构造 | 条件数通常被平方 | 形成 后解线性系统 |
| QR 分解 | 直接分解 | 避免条件数平方 | 求 后回代 |
| SVD | 分解奇异值结构 | 对秩亏最稳健 | 按奇异值处理后求解 |
因此,当列之间接近线性相关时,QR 往往明显优于正规方程。实际数值库中通常使用 Householder 反射完成 QR 分解,因为它比经典 Gram-Schmidt 更稳定;手算时使用 Gram-Schmidt,则更容易看清“把原列变成一组正交基”的几何意义。
选择求解方法
如果矩阵规模较小、条件良好且目标主要是推导,正规方程足够直接。若需要可靠数值计算,QR 通常是默认选择。若矩阵可能秩亏,或问题病态到需要判断哪些方向几乎失去信息,则 SVD 更合适。
无论使用哪种方法,最终都在解决同一个几何问题:找到列空间中离 最近的向量。QR 的价值,是用正交坐标把这个投影问题变成稳定、结构清晰的上三角求解。
按自己的节奏,确认真正理解。