AI 与工程数学 / 系统课时
用最小二乘拟合线性模型
用最小二乘拟合线性模型
给定一组带误差的观测点,我们希望找到一条不能完全穿过所有样本、但整体误差尽可能小的直线。本节把线性拟合写成最小二乘问题,用矩阵形式求出参数,再从投影视角理解为什么最优残差会与模型的列空间正交。
学习目标
- 把线性回归写成矩阵最小二乘问题
- 理解正规方程与残差正交条件之间的关系
- 使用 NumPy 求解参数并验证拟合误差与正交性
从拟合直线到优化问题
设有观测点 ,希望用直线 描述它们。对第 个样本,预测值为 ,残差为预测值与观测值之差。
如果直接让正负残差相加,它们可能彼此抵消。因此最小二乘法最小化所有残差平方之和:
把参数写成向量 ,把每个样本的 和常数 组成设计矩阵 ,观测值组成向量 ,问题就变成:
这个形式比“拟合一条直线”更一般。只要模型对待求参数是线性的,多项式拟合、多特征线性回归也可以写成同一种最小二乘结构。
最优解为什么满足正规方程
记残差向量为 。平方误差函数为 。在无约束情况下,对参数求导并令梯度为零,可以得到:
也就是正规方程:
其中更重要的并不是背下这个方程,而是看到 。它说明最优残差与 的每一个列向量都正交,因此也与 的整个列空间正交。
从几何上说, 只能落在 的列空间中。当观测向量 不在这个空间里时,最小二乘就是在列空间里寻找离 最近的点;这个最近点就是 在列空间上的正交投影。

用 NumPy 完成一次拟合
下面构造四个观测点,用 numpy.linalg.lstsq 直接求最小二乘解。相比显式计算 ,数值库通常通过 QR、SVD 等更稳定的线性代数方法完成求解,因此实际代码应优先使用现成最小二乘接口。
import numpy as np
t = np.array([0.0, 1.0, 2.0, 3.0])
y = np.array([1.0, 2.0, 2.0, 4.0])
# 第一列对应斜率 w,第二列对应截距 c。
A = np.column_stack([t, np.ones_like(t)])
params, _, _, _ = np.linalg.lstsq(A, y, rcond=None)
w, c = params
prediction = A @ params
residual = y - prediction
orthogonality = A.T @ residual
print("w =", round(w, 6))
print("c =", round(c, 6))
print("prediction =", np.round(prediction, 6))
print("residual =", np.round(residual, 6))
print("A.T @ residual =", np.round(orthogonality, 12))预期输出
w = 0.9
c = 0.9
prediction = [0.9 1.8 2.7 3.6]
residual = [ 0.1 0.2 -0.7 0.4]
A.T @ residual = [0. 0.]得到的拟合直线为 。残差并没有全部变成零,因为四个观测点本身不共线;但 A.T @ residual 接近零,验证了残差与设计矩阵列空间正交。
为什么不推荐直接求逆
如果 的列线性无关,正规方程形式上可以写成 。这个公式适合推导,但不意味着程序应该真的先计算逆矩阵。
构造 会放大条件数问题,而显式求逆通常也比直接求解线性方程组代价更高、稳定性更差。当特征之间接近线性相关时,这个差异尤其明显。
因此工程代码应优先使用 numpy.linalg.lstsq、QR 分解或 SVD。它们还能处理秩不足等情况,而不是简单假设 一定可逆。
看懂残差就看懂了最小二乘
最小二乘的目标不是让每个样本都准确命中,而是在模型允许的空间内找到整体平方误差最小的预测。矩阵形式把这个问题统一成寻找最接近 的 ,而条件 则把代数最优性和几何正交投影连接了起来。
当模型对参数保持线性时,即使输入特征经过平方、对数或其他预处理,仍然可以构建设计矩阵后使用同一套最小二乘方法;真正需要重新选择算法的是加入非线性参数、约束或其他损失函数之后。