高等数学 / 系统课时
解释残差为何垂直列空间
解释残差为何垂直列空间
最小二乘并不是让方程 强行成立,而是在所有 中寻找离 最近的一个。这个最近点与 的差就是残差。理解残差为什么垂直于 的列空间,就能把“误差最小”转换成一个可以直接计算和检验的正交条件。
学习目标
- 解释最小二乘残差为什么与 的列空间正交
- 从几何投影推导正规方程
- 使用 检验一个候选近似解是否满足最优性
从最近点看残差
设 有 列。任意向量 经过 映射后得到 ,而 一定是 各列的线性组合,因此所有可能的 恰好组成 的列空间 。
当 不在列空间中时,方程 没有精确解。最小二乘问题改为寻找
令投影点 ,残差定义为
这里的关键不是残差“比较小”,而是 已经是列空间中距离 最近的点。如果从 沿列空间中的任何方向继续移动,都不能让距离再缩短,因此从 指向 的向量 必须与这些方向全部垂直。

为什么垂直意味着最优
取列空间中的任意方向 。由于 已经是最近点,可以考虑从 沿 移动一个很小的量 。新的候选点是 ,它到 的平方距离为
展开得到
如果 ,就可以选择合适正负号的一个足够小的 ,使中间的线性项让距离下降,这与 已经最近矛盾。因此对列空间中的每个方向都必须满足
这正是“残差与列空间正交”的含义。
从正交条件得到正规方程
的每一列都属于 。因此残差与整个列空间正交,等价于它分别与 的每一列正交,可以统一写成
代入 :
整理后得到正规方程
所以正规方程并不是凭空出现的代数技巧。它只是把“从 到投影点的残差垂直于列空间”翻译成矩阵语言。
用正交条件检查候选解
考虑
这里 的列空间就是向量 张成的一条直线。最小二乘解是三个分量的平均值:
于是
检查正交条件:
因此这个残差与列空间正交,候选解满足最小二乘的一阶最优条件。相反,如果尝试 ,残差变为 ,此时 ,说明仍然可以沿列空间方向移动并进一步减小误差。
检验时该看什么
面对一个已经算出的候选解 ,可以先计算残差
再计算 。如果结果为零,或者在浮点计算中足够接近零,就说明残差与列空间正交;如果明显不为零,这个候选解就还不是最小二乘最优点。
这里要区分两个条件: 表示原方程存在精确解,而 只要求误差无法再通过列空间内的移动继续缩小。最小二乘问题通常依赖的是后一个条件。