AI 与工程数学 / 系统课时

用最小二乘拟合线性模型

用最小二乘拟合线性模型

给定一组带误差的观测点,我们希望找到一条不能完全穿过所有样本、但整体误差尽可能小的直线。本节把线性拟合写成最小二乘问题,用矩阵形式求出参数,再从投影视角理解为什么最优残差会与模型的列空间正交。

学习目标

  • 把线性回归写成矩阵最小二乘问题 Ax≈bAx\approx b
  • 理解正规方程与残差正交条件之间的关系
  • 使用 NumPy 求解参数并验证拟合误差与正交性

从拟合直线到优化问题

设有观测点 (ti,yi)(t_i,y_i),希望用直线 y=wt+cy=wt+c 描述它们。对第 ii 个样本,预测值为 wti+cwt_i+c,残差为预测值与观测值之差。

如果直接让正负残差相加,它们可能彼此抵消。因此最小二乘法最小化所有残差平方之和:

min⁡w,c∑i(wti+c−yi)2\min_{w,c}\sum_i(wt_i+c-y_i)^2

把参数写成向量 x=[w,c]Tx=[w,c]^T,把每个样本的 tit_i 和常数 11 组成设计矩阵 AA,观测值组成向量 bb,问题就变成:

min⁡x∥Ax−b∥22\min_x\|Ax-b\|_2^2

这个形式比“拟合一条直线”更一般。只要模型对待求参数是线性的,多项式拟合、多特征线性回归也可以写成同一种最小二乘结构。

最优解为什么满足正规方程

记残差向量为 r=Ax−br=Ax-b。平方误差函数为 f(x)=∥Ax−b∥22f(x)=\|Ax-b\|_2^2。在无约束情况下,对参数求导并令梯度为零,可以得到:

AT(Ax−b)=0A^T(Ax-b)=0

也就是正规方程:

ATAx=ATbA^TAx=A^Tb

其中更重要的并不是背下这个方程,而是看到 ATr=0A^Tr=0。它说明最优残差与 AA 的每一个列向量都正交,因此也与 AA 的整个列空间正交。

从几何上说,AxAx 只能落在 AA 的列空间中。当观测向量 bb 不在这个空间里时,最小二乘就是在列空间里寻找离 bb 最近的点;这个最近点就是 bb 在列空间上的正交投影。

最小二乘作为向量到列空间的正交投影

用 NumPy 完成一次拟合

下面构造四个观测点,用 numpy.linalg.lstsq 直接求最小二乘解。相比显式计算 (ATA)−1ATb(A^TA)^{-1}A^Tb,数值库通常通过 QR、SVD 等更稳定的线性代数方法完成求解,因此实际代码应优先使用现成最小二乘接口。

python
import numpy as np

t = np.array([0.0, 1.0, 2.0, 3.0])
y = np.array([1.0, 2.0, 2.0, 4.0])

# 第一列对应斜率 w,第二列对应截距 c。
A = np.column_stack([t, np.ones_like(t)])

params, _, _, _ = np.linalg.lstsq(A, y, rcond=None)
w, c = params

prediction = A @ params
residual = y - prediction
orthogonality = A.T @ residual

print("w =", round(w, 6))
print("c =", round(c, 6))
print("prediction =", np.round(prediction, 6))
print("residual =", np.round(residual, 6))
print("A.T @ residual =", np.round(orthogonality, 12))

预期输出

text
w = 0.9
c = 0.9
prediction = [0.9 1.8 2.7 3.6]
residual = [ 0.1  0.2 -0.7  0.4]
A.T @ residual = [0. 0.]

得到的拟合直线为 y=0.9t+0.9y=0.9t+0.9。残差并没有全部变成零,因为四个观测点本身不共线;但 A.T @ residual 接近零,验证了残差与设计矩阵列空间正交。

为什么不推荐直接求逆

如果 AA 的列线性无关,正规方程形式上可以写成 x=(ATA)−1ATbx=(A^TA)^{-1}A^Tb。这个公式适合推导,但不意味着程序应该真的先计算逆矩阵。

构造 ATAA^TA 会放大条件数问题,而显式求逆通常也比直接求解线性方程组代价更高、稳定性更差。当特征之间接近线性相关时,这个差异尤其明显。

因此工程代码应优先使用 numpy.linalg.lstsq、QR 分解或 SVD。它们还能处理秩不足等情况,而不是简单假设 ATAA^TA 一定可逆。

看懂残差就看懂了最小二乘

最小二乘的目标不是让每个样本都准确命中,而是在模型允许的空间内找到整体平方误差最小的预测。矩阵形式把这个问题统一成寻找最接近 bb 的 AxAx,而条件 ATr=0A^Tr=0 则把代数最优性和几何正交投影连接了起来。

当模型对参数保持线性时,即使输入特征经过平方、对数或其他预处理,仍然可以构建设计矩阵后使用同一套最小二乘方法;真正需要重新选择算法的是加入非线性参数、约束或其他损失函数之后。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

用最小二乘拟合线性模型

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通