高等数学 / 系统课时

用最小二乘拟合超定方程

用最小二乘拟合超定方程

当方程数量多于未知量时,观测误差常让 Ax=bAx=b 根本没有精确解。最小二乘不强求每个方程都成立,而是寻找使总体残差平方和最小的 xx,把“无解”问题转成可计算的最佳近似。

学习目标

  • 解释超定方程为何可能没有精确解,以及最小二乘在优化什么
  • 从残差正交条件推导正规方程 ATAx=ATbA^TAx=A^Tb
  • 手算一个小型最小二乘问题并用残差验证结果

从无精确解到最佳近似

设 A∈Rm×nA\in\mathbb{R}^{m\times n},且 m>nm>n。这表示方程数量多于未知量。若 bb 不在 AA 的列空间中,就不存在任何 xx 使 Ax=bAx=b 完全成立。

最小二乘改为求解

min⁡x∥Ax−b∥22\min_x \lVert Ax-b\rVert_2^2

记残差为 r=b−Axr=b-Ax。几何上,AxAx 必须落在 AA 的列空间中,因此最优的 AxAx 就是 bb 在该列空间上的正交投影;剩下的残差 rr 与整个列空间正交。

最小二乘中的投影与残差

推导正规方程

最优点处的残差必须与 AA 的每一列都正交,因此

AT(b−Ax^)=0A^T(b-A\hat{x})=0

移项后得到正规方程

ATAx^=ATbA^TA\hat{x}=A^Tb

如果 AA 的列线性无关,那么 ATAA^TA 可逆,最小二乘解唯一:

x^=(ATA)−1ATb\hat{x}=(A^TA)^{-1}A^Tb

这条公式适合推导和手算,但实际数值计算通常不直接求逆矩阵。更重要的是,形成 ATAA^TA 会放大条件数带来的误差,后续通常改用 QR 分解或 SVD。

手算一次最小二乘拟合

用直线 y=a+bxy=a+bx 拟合三个观测点 (0,1)(0,1)、(1,2)(1,2)、(2,2)(2,2)。对应矩阵为

A=[101112],x=[ab],y=[122]A= \begin{bmatrix} 1&0\\ 1&1\\ 1&2 \end{bmatrix}, \quad x= \begin{bmatrix} a\\ b \end{bmatrix}, \quad y= \begin{bmatrix} 1\\ 2\\ 2 \end{bmatrix}

先计算

ATA=[3335],ATy=[56]A^TA= \begin{bmatrix} 3&3\\ 3&5 \end{bmatrix}, \quad A^Ty= \begin{bmatrix} 5\\ 6 \end{bmatrix}

于是正规方程为

[3335][ab]=[56]\begin{bmatrix} 3&3\\ 3&5 \end{bmatrix} \begin{bmatrix} a\\ b \end{bmatrix} = \begin{bmatrix} 5\\ 6 \end{bmatrix}

解得

x^=[7/61/2]\hat{x}= \begin{bmatrix} 7/6\\ 1/2 \end{bmatrix}

所以拟合直线是 y=7/6+x/2y=7/6+x/2。它不会穿过全部三个点,但会让三个纵向残差的平方和达到最小。

用残差检查答案

代回得到预测值

Ax^=[7/65/313/6]A\hat{x}= \begin{bmatrix} 7/6\\ 5/3\\ 13/6 \end{bmatrix}

因此残差为

r=y−Ax^=[−1/61/3−1/6]r=y-A\hat{x}= \begin{bmatrix} -1/6\\ 1/3\\ -1/6 \end{bmatrix}

最关键的验证不是“残差是否为零”,而是检查正交条件:

ATr=[00]A^Tr= \begin{bmatrix} 0\\ 0 \end{bmatrix}

这说明残差已经不可能通过沿着 AA 的列空间继续移动而缩短,当前解就是最小二乘解。残差平方和为 ∥r∥22=1/6\lVert r\rVert_2^2=1/6,它量化了这组数据无法被一条直线完全解释的程度。

什么时候正规方程不够稳

正规方程计算简单,但数值稳定性并不总是理想。若 AA 的列接近线性相关,ATAA^TA 会比原矩阵更病态;在 2-范数下,满列秩时有 κ2(ATA)=κ2(A)2\kappa_2(A^TA)=\kappa_2(A)^2。因此规模较大、数据噪声较强或矩阵条件较差时,优先考虑 QR 分解;若还需要处理秩亏或极端病态问题,则通常进一步使用 SVD。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

用最小二乘拟合超定方程

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通