高等数学 / 系统课时

解释残差为何垂直列空间

解释残差为何垂直列空间

最小二乘并不是让方程 Ax=bAx=b 强行成立,而是在所有 AxAx 中寻找离 bb 最近的一个。这个最近点与 bb 的差就是残差。理解残差为什么垂直于 AA 的列空间,就能把“误差最小”转换成一个可以直接计算和检验的正交条件。

学习目标

  • 解释最小二乘残差为什么与 AA 的列空间正交
  • 从几何投影推导正规方程 ATAx^=ATbA^T A\hat{x}=A^T b
  • 使用 ATr=0A^T r=0 检验一个候选近似解是否满足最优性

从最近点看残差

设 AA 有 nn 列。任意向量 xx 经过 AA 映射后得到 AxAx,而 AxAx 一定是 AA 各列的线性组合,因此所有可能的 AxAx 恰好组成 AA 的列空间 Col⁡(A)\operatorname{Col}(A)。

当 bb 不在列空间中时,方程 Ax=bAx=b 没有精确解。最小二乘问题改为寻找

x^=arg⁡min⁡x∥Ax−b∥22.\hat{x}=\arg\min_x \|Ax-b\|_2^2.

令投影点 p=Ax^p=A\hat{x},残差定义为

r=b−Ax^=b−p.r=b-A\hat{x}=b-p.

这里的关键不是残差“比较小”,而是 pp 已经是列空间中距离 bb 最近的点。如果从 pp 沿列空间中的任何方向继续移动,都不能让距离再缩短,因此从 pp 指向 bb 的向量 rr 必须与这些方向全部垂直。

最小二乘投影与残差正交关系

为什么垂直意味着最优

取列空间中的任意方向 vv。由于 pp 已经是最近点,可以考虑从 pp 沿 vv 移动一个很小的量 tt。新的候选点是 p+tvp+tv,它到 bb 的平方距离为

∥b−(p+tv)∥22=∥r−tv∥22.\|b-(p+tv)\|_2^2=\|r-tv\|_2^2.

展开得到

∥r−tv∥22=∥r∥22−2t rTv+t2∥v∥22.\|r-tv\|_2^2=\|r\|_2^2-2t\,r^T v+t^2\|v\|_2^2.

如果 rTv≠0r^T v\neq 0,就可以选择合适正负号的一个足够小的 tt,使中间的线性项让距离下降,这与 pp 已经最近矛盾。因此对列空间中的每个方向都必须满足

rTv=0.r^T v=0.

这正是“残差与列空间正交”的含义。

从正交条件得到正规方程

AA 的每一列都属于 Col⁡(A)\operatorname{Col}(A)。因此残差与整个列空间正交,等价于它分别与 AA 的每一列正交,可以统一写成

ATr=0.A^T r=0.

代入 r=b−Ax^r=b-A\hat{x}:

AT(b−Ax^)=0.A^T(b-A\hat{x})=0.

整理后得到正规方程

ATAx^=ATb.A^T A\hat{x}=A^T b.

所以正规方程并不是凭空出现的代数技巧。它只是把“从 bb 到投影点的残差垂直于列空间”翻译成矩阵语言。

用正交条件检查候选解

考虑

A=[111],b=[126].A=\begin{bmatrix}1\\1\\1\end{bmatrix},\qquad b=\begin{bmatrix}1\\2\\6\end{bmatrix}.

这里 AA 的列空间就是向量 (1,1,1)T(1,1,1)^T 张成的一条直线。最小二乘解是三个分量的平均值:

x^=3.\hat{x}=3.

于是

Ax^=[333],r=b−Ax^=[−2−13].A\hat{x}=\begin{bmatrix}3\\3\\3\end{bmatrix},\qquad r=b-A\hat{x}=\begin{bmatrix}-2\\-1\\3\end{bmatrix}.

检查正交条件:

ATr=1(−2)+1(−1)+1(3)=0.A^T r=1(-2)+1(-1)+1(3)=0.

因此这个残差与列空间正交,候选解满足最小二乘的一阶最优条件。相反,如果尝试 x=2x=2,残差变为 (−1,0,4)T(-1,0,4)^T,此时 ATr=3≠0A^T r=3\neq0,说明仍然可以沿列空间方向移动并进一步减小误差。

检验时该看什么

面对一个已经算出的候选解 x~\tilde{x},可以先计算残差

r=b−Ax~,r=b-A\tilde{x},

再计算 ATrA^T r。如果结果为零,或者在浮点计算中足够接近零,就说明残差与列空间正交;如果明显不为零,这个候选解就还不是最小二乘最优点。

这里要区分两个条件:r=0r=0 表示原方程存在精确解,而 ATr=0A^T r=0 只要求误差无法再通过列空间内的移动继续缩小。最小二乘问题通常依赖的是后一个条件。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

解释残差为何垂直列空间

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通