AI 与工程数学 / 系统课时

用 NumPy 训练一元线性回归

用 NumPy 训练一元线性回归

本课使用 NumPy 从零训练一个一元线性回归模型,不依赖机器学习框架。我们会构造一组已知规律的数据,手动计算均方误差及其梯度,循环更新权重和偏置,最后检查损失是否下降、参数是否接近真实值,以及预测直线能否正确拟合数据。

学习目标

  • 理解一元线性回归的预测公式、均方误差及梯度计算。
  • 使用 NumPy 实现完整的梯度下降训练循环并记录参数变化。
  • 通过损失、参数误差和预测结果验证模型是否收敛。

明确模型和训练数据

一元线性回归用一条直线描述输入 xx 与输出 yy 的关系:

y^=wx+b\hat{y}=wx+b

其中,ww 是权重,决定直线斜率;bb 是偏置,决定直线与纵轴的交点。训练的目标是找到合适的 ww 和 bb,让预测值 y^\hat{y} 尽可能接近真实值 yy。

我们构造 5 个无噪声样本,真实规律为 y=2x+1y=2x+1。

输入 x 真实 y
-2 -3
-1 -1
0 1
1 3
2 5

选择对称分布的输入有两个好处:均值为 0,便于核对梯度;输入范围较小,可以先使用固定学习率训练,不必额外引入特征标准化。

训练前故意设置 w=0w=0、b=0b=0。这时所有预测值都是 0,模型显然没有学会数据规律。我们将从这个状态开始逐步修正参数。

推导均方误差和梯度

使用均方误差 MSE 衡量预测误差。对于 nn 个样本,损失函数为:

L(w,b)=1n∑i=1n(wxi+b−yi)2L(w,b)=\frac{1}{n}\sum_{i=1}^{n}(wx_i+b-y_i)^2

MSE 的值越小,整体预测误差越小。对 ww 和 bb 分别求偏导,得到:

∂L∂w=2n∑i=1n(y^i−yi)xi\frac{\partial L}{\partial w}=\frac{2}{n}\sum_{i=1}^{n}(\hat{y}_i-y_i)x_i
∂L∂b=2n∑i=1n(y^i−yi)\frac{\partial L}{\partial b}=\frac{2}{n}\sum_{i=1}^{n}(\hat{y}_i-y_i)

梯度描述当前参数变化时损失增长最快的方向,因此梯度下降沿负梯度方向更新参数:

w←w−η∂L∂ww\leftarrow w-\eta\frac{\partial L}{\partial w}
b←b−η∂L∂bb\leftarrow b-\eta\frac{\partial L}{\partial b}

这里的 η\eta 是学习率。本例取 η=0.1\eta=0.1,每次用全部 5 个样本计算梯度,属于批量梯度下降。

以初始参数为例,预测全部为 0,初始损失是 (9+1+1+9+25)/5=9(9+1+1+9+25)/5=9,两个梯度分别为 −8-8 和 −2-2。第一次更新后得到 w=0.8w=0.8、b=0.2b=0.2,损失随之降低到 3.283.28。

实现完整的 NumPy 训练循环

环境要求 Python 3.9 或更高版本,并安装 NumPy。下面代码可以保存为 train_linear.py 后直接运行。它包含数据构造、预测、梯度、参数更新、训练记录与最终验证,不需要 scikit-learn。

python
import numpy as np

# 使用 float64,便于观察参数逐步接近真实值
x = np.array([-2, -1, 0, 1, 2], dtype=np.float64)
y = 2.0 * x + 1.0

w, b = 0.0, 0.0
learning_rate = 0.1
epochs = 100
history = []

for epoch in range(epochs + 1):
    predictions = w * x + b
    errors = predictions - y
    loss = np.mean(errors ** 2)
    history.append((epoch, w, b, loss))

    if epoch in (0, 1, 2, 5, 10, 50, 100):
        print(f"{epoch:3d} | w={w:.6f} | b={b:.6f} | loss={loss:.6f}")

    # 最后一轮只评估,不再执行额外更新
    if epoch == epochs:
        break

    dw = 2.0 * np.mean(errors * x)
    db = 2.0 * np.mean(errors)
    w -= learning_rate * dw
    b -= learning_rate * db

print(f"最终预测 x=3: {w * 3.0 + b:.6f}")
print(f"参数误差: {abs(w - 2.0):.6e}, {abs(b - 1.0):.6e}")

预期输出(数值按指定格式四舍五入):

text
  0 | w=0.000000 | b=0.000000 | loss=9.000000
  1 | w=0.800000 | b=0.200000 | loss=3.280000
  2 | w=1.280000 | b=0.360000 | loss=1.228800
  5 | w=1.844480 | b=0.672320 | loss=0.263926
 10 | w=1.987907 | b=0.892626 | loss=0.011822
 50 | w=2.000000 | b=0.999986 | loss=0.000000
100 | w=2.000000 | b=1.000000 | loss=0.000000
最终预测 x=3: 7.000000
参数误差: 0.000000e+00, 2.037036e-10

history 保存的是每次更新前的参数与损失,所以记录中的 epoch 0 是初始状态,epoch 100 是完成 100 次更新后的状态。代码在最后一轮主动退出,避免打印状态和实际更新次数不一致。

本例使用 NumPy 数组进行向量化计算,errors * x 会逐元素相乘,np.mean 再对全部样本求平均。因此梯度公式里的求和与除以样本数,不需要自己编写内层循环。

对照拟合直线和权重变化

判断训练是否成功,不能只看最终损失。还应该比较参数是否接近真实规律,以及样本范围外的预测是否合理。

本例已知目标直线为 y=2x+1y=2x+1。初始模型是一条水平线 y=0y=0;训练第 1 次更新后变成 y=0.8x+0.2y=0.8x+0.2;经过 100 次更新后,拟合直线几乎与真实直线重合。

梯度下降训练中直线逐步拟合数据的对比图

利用 history 还可以复核每个阶段的训练表现:

更新次数 权重 w 偏置 b 损失 MSE
0 0.000000 0.000000 9.000000
1 0.800000 0.200000 3.280000
2 1.280000 0.360000 1.228800
10 1.987907 0.892626 0.011822
50 2.000000 0.999986 小于 0.000001
100 2.000000 1.000000 小于 0.000001

这里权重收敛快于偏置,因为当前数据的平均平方输入为 2,权重梯度在相同参数误差下比偏置梯度更大。这个特征与输入尺度有关,并不是所有数据集都会如此。

再用训练集之外的 x=3x=3 检查:真实目标为 7,模型预测约为 7。对于无噪声且确实满足线性规律的数据,这是参数正确收敛的直接证据。真实业务数据存在噪声时,还需要划分验证集,而不能仅凭训练损失判断泛化能力。

学习率和训练失败的排查

固定学习率并非越大越好。本例的权重误差在每次更新后会乘以 1−4η1-4\eta,偏置误差会乘以 1−2η1-2\eta。当学习率满足 0<η<0.50<\eta<0.5 时,两个误差都会逐步衰减;这是针对当前数据的结论,不能直接套用到其他数据集。

学习率 本例中的表现 建议
0.01 收敛较慢 可增加训练轮数
0.1 稳定收敛 本课推荐起点
0.5 权重误差幅度不减 不适合本例
0.6 权重误差放大,损失发散 降低学习率

如果训练时出现损失持续增大,先检查更新是否使用负梯度,再检查学习率。若数据的 xx 范围从 -2~2 扩大到数千,梯度量级可能明显增加,原来的学习率不一定仍然适用,可以先对输入进行标准化。

还应避免两个常见实现错误:一是把 np.mean(errors * x) 写成 np.mean(errors) * np.mean(x),它们一般不相等;二是在计算 dw 后立即更新 w,再用新权重重新计算 db。本课使用同一轮预测误差同时计算两个梯度,然后统一更新,确保两者都来自相同的参数状态。

可以将代码中的 learning_rate 分别改为 0.01 和 0.6,保持其他设置不变,观察记录中的损失变化。如果学习率为 0.6,随着训练推进,损失通常会明显上升;恢复为 0.1 后应重新下降。

通过这次实验,可以完整核对梯度下降的闭环:由当前参数计算预测和损失,由误差计算梯度,再更新参数,直到拟合直线接近真实规律。以后训练更多特征的线性模型时,仍然沿用这一过程,只需把标量权重扩展为权重向量。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

用 NumPy 训练一元线性回归

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通