高等数学 / 系统课时

用投影分解向量误差

用投影分解向量误差

当一个向量无法完全落在目标直线或子空间中时,正交投影会找出其中“能够被目标空间解释”的部分,并把剩余部分变成与目标空间垂直的残差。掌握这种分解后,就能直接计算最近点、距离,并为最小二乘建立几何直觉。

学习目标

  • 计算向量到一条直线或正交子空间的投影
  • 将原向量分解为投影分量与垂直残差
  • 利用正交条件验证投影是否正确

投影是在寻找目标空间中的最近点

设非零向量 aa 张成一条直线,给定向量 bb。直线上的任意向量都可以写成 caca,正交投影就是选择一个系数 cc,使 b−cab-ca 与直线方向 aa 垂直。

垂直条件为

aT(b−ca)=0a^\mathsf{T}(b-ca)=0

解出 cc 后得到

p=proj⁡a(b)=aTbaTaap=\operatorname{proj}_a(b)=\frac{a^\mathsf{T}b}{a^\mathsf{T}a}a

这里的 pp 位于目标直线上,并且是直线上距离 bb 最近的点。

向量到直线的正交投影与残差

把原向量拆成投影与残差

定义残差

e=b−pe=b-p

于是原向量被分解为

b=p+eb=p+e

其中 pp 平行于目标直线,而 ee 与直线垂直。由于二者正交,还满足勾股关系

∥b∥2=∥p∥2+∥e∥2\lVert b\rVert^2=\lVert p\rVert^2+\lVert e\rVert^2

因此 ∥e∥\lVert e\rVert 就是 bb 到目标直线的最短距离。

用一个二维例子完成计算

取 a=(1,2)a=(1,2)、b=(3,4)b=(3,4)。投影系数为

c=1×3+2×412+22=115c=\frac{1\times3+2\times4}{1^2+2^2}=\frac{11}{5}

所以

p=115(1,2)=(115,225)p=\frac{11}{5}(1,2)=\left(\frac{11}{5},\frac{22}{5}\right)

残差为

e=b−p=(45,−25)e=b-p=\left(\frac{4}{5},-\frac{2}{5}\right)

验证正交性:

aTe=1×45+2×(−25)=0a^\mathsf{T}e=1\times\frac{4}{5}+2\times\left(-\frac{2}{5}\right)=0

结果为零说明残差确实与目标直线垂直,因此投影计算正确。

推广到正交子空间

如果子空间拥有一组标准正交基,并把这些基向量作为列组成矩阵 QQ,那么投影可以直接写成

p=QQTbp=QQ^\mathsf{T}b

对应残差是 e=b−pe=b-p,且 QTe=0Q^\mathsf{T}e=0。这意味着残差同时垂直于子空间中的每个基方向。正交投影的核心始终不变:保留目标空间内的分量,把无法解释的部分全部留在垂直残差中。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

用投影分解向量误差

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通