高等数学 / 系统课时

用QR分解稳定求最小二乘

用QR分解稳定求最小二乘

正规方程能给出最小二乘解,但显式形成 ATAA^TA 会放大病态性。QR 分解把列空间几何结构保留下来,再把问题化成上三角方程,因此既便于计算,也通常比正规方程更稳定。

学习目标

  • 说明 A=QRA=QR 中正交矩阵 QQ 与上三角矩阵 RR 各自承担的作用
  • 从最小二乘目标推导 Rx^=QTbR\hat{x}=Q^Tb
  • 比较 QR 分解与正规方程在数值稳定性和计算方式上的差异

QR为什么能简化最小二乘

对满列秩矩阵 A∈Rm×nA\in\mathbb{R}^{m\times n},薄 QR 分解写成

A=QRA=QR

其中 Q∈Rm×nQ\in\mathbb{R}^{m\times n} 的列两两正交且长度为 1,因此 QTQ=IQ^TQ=I;R∈Rn×nR\in\mathbb{R}^{n\times n} 是可逆上三角矩阵。

最小二乘目标为

min⁡x∥Ax−b∥2=min⁡x∥QRx−b∥2\min_x \lVert Ax-b\rVert_2 = \min_x \lVert QRx-b\rVert_2

QQ 的列张成的空间与 AA 的列空间完全相同。把 bb 投影到这个空间后,真正需要匹配的是其坐标 QTbQ^Tb,因此最优解满足

Rx^=QTbR\hat{x}=Q^Tb

这样就不必构造 ATAA^TA,只需要做一次 QR 分解、一次矩阵向量乘法,再用回代求解上三角系统。

QR分解求最小二乘的数据流

用同一组数据计算

仍拟合三个点 (0,1)(0,1)、(1,2)(1,2)、(2,2)(2,2),令

A=[101112],b=[122]A= \begin{bmatrix} 1&0\\ 1&1\\ 1&2 \end{bmatrix}, \quad b= \begin{bmatrix} 1\\ 2\\ 2 \end{bmatrix}

对 AA 的两列做正交化,可得到

Q=[1/3−1/21/301/31/2],R=[3302]Q= \begin{bmatrix} 1/\sqrt{3}&-1/\sqrt{2}\\ 1/\sqrt{3}&0\\ 1/\sqrt{3}&1/\sqrt{2} \end{bmatrix}, \quad R= \begin{bmatrix} \sqrt{3}&\sqrt{3}\\ 0&\sqrt{2} \end{bmatrix}

先计算右端:

QTb=[5/31/2]Q^Tb= \begin{bmatrix} 5/\sqrt{3}\\ 1/\sqrt{2} \end{bmatrix}

于是只需解

[3302][ab]=[5/31/2]\begin{bmatrix} \sqrt{3}&\sqrt{3}\\ 0&\sqrt{2} \end{bmatrix} \begin{bmatrix} a\\ b \end{bmatrix} = \begin{bmatrix} 5/\sqrt{3}\\ 1/\sqrt{2} \end{bmatrix}

从第二行开始回代,先得 b=1/2b=1/2,再代入第一行得到 a=7/6a=7/6。最终

x^=[7/61/2]\hat{x}= \begin{bmatrix} 7/6\\ 1/2 \end{bmatrix}

与正规方程得到的数学解一致,但计算路径不同:QR 直接操作 AA 的正交基,不经过 ATAA^TA。

为什么QR通常更稳定

正规方程与 QR 的核心差异不在于“答案公式不同”,而在于中间计算是否恶化条件数。

方法 主要计算 数值影响 典型求解步骤
正规方程 构造 ATAA^TA 条件数通常被平方 形成 ATAA^TA 后解线性系统
QR 分解 直接分解 AA 避免条件数平方 求 QTbQ^Tb 后回代
SVD 分解奇异值结构 对秩亏最稳健 按奇异值处理后求解

因此,当列之间接近线性相关时,QR 往往明显优于正规方程。实际数值库中通常使用 Householder 反射完成 QR 分解,因为它比经典 Gram-Schmidt 更稳定;手算时使用 Gram-Schmidt,则更容易看清“把原列变成一组正交基”的几何意义。

选择求解方法

如果矩阵规模较小、条件良好且目标主要是推导,正规方程足够直接。若需要可靠数值计算,QR 通常是默认选择。若矩阵可能秩亏,或问题病态到需要判断哪些方向几乎失去信息,则 SVD 更合适。

无论使用哪种方法,最终都在解决同一个几何问题:找到列空间中离 bb 最近的向量。QR 的价值,是用正交坐标把这个投影问题变成稳定、结构清晰的上三角求解。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

用QR分解稳定求最小二乘

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通