AI 与工程数学 / 系统课时
用 NumPy 训练一元线性回归
用 NumPy 训练一元线性回归
本课使用 NumPy 从零训练一个一元线性回归模型,不依赖机器学习框架。我们会构造一组已知规律的数据,手动计算均方误差及其梯度,循环更新权重和偏置,最后检查损失是否下降、参数是否接近真实值,以及预测直线能否正确拟合数据。
学习目标
- 理解一元线性回归的预测公式、均方误差及梯度计算。
- 使用 NumPy 实现完整的梯度下降训练循环并记录参数变化。
- 通过损失、参数误差和预测结果验证模型是否收敛。
明确模型和训练数据
一元线性回归用一条直线描述输入 与输出 的关系:
其中, 是权重,决定直线斜率; 是偏置,决定直线与纵轴的交点。训练的目标是找到合适的 和 ,让预测值 尽可能接近真实值 。
我们构造 5 个无噪声样本,真实规律为 。
| 输入 x | 真实 y |
|---|---|
| -2 | -3 |
| -1 | -1 |
| 0 | 1 |
| 1 | 3 |
| 2 | 5 |
选择对称分布的输入有两个好处:均值为 0,便于核对梯度;输入范围较小,可以先使用固定学习率训练,不必额外引入特征标准化。
训练前故意设置 、。这时所有预测值都是 0,模型显然没有学会数据规律。我们将从这个状态开始逐步修正参数。
推导均方误差和梯度
使用均方误差 MSE 衡量预测误差。对于 个样本,损失函数为:
MSE 的值越小,整体预测误差越小。对 和 分别求偏导,得到:
梯度描述当前参数变化时损失增长最快的方向,因此梯度下降沿负梯度方向更新参数:
这里的 是学习率。本例取 ,每次用全部 5 个样本计算梯度,属于批量梯度下降。
以初始参数为例,预测全部为 0,初始损失是 ,两个梯度分别为 和 。第一次更新后得到 、,损失随之降低到 。
实现完整的 NumPy 训练循环
环境要求 Python 3.9 或更高版本,并安装 NumPy。下面代码可以保存为 train_linear.py 后直接运行。它包含数据构造、预测、梯度、参数更新、训练记录与最终验证,不需要 scikit-learn。
import numpy as np
# 使用 float64,便于观察参数逐步接近真实值
x = np.array([-2, -1, 0, 1, 2], dtype=np.float64)
y = 2.0 * x + 1.0
w, b = 0.0, 0.0
learning_rate = 0.1
epochs = 100
history = []
for epoch in range(epochs + 1):
predictions = w * x + b
errors = predictions - y
loss = np.mean(errors ** 2)
history.append((epoch, w, b, loss))
if epoch in (0, 1, 2, 5, 10, 50, 100):
print(f"{epoch:3d} | w={w:.6f} | b={b:.6f} | loss={loss:.6f}")
# 最后一轮只评估,不再执行额外更新
if epoch == epochs:
break
dw = 2.0 * np.mean(errors * x)
db = 2.0 * np.mean(errors)
w -= learning_rate * dw
b -= learning_rate * db
print(f"最终预测 x=3: {w * 3.0 + b:.6f}")
print(f"参数误差: {abs(w - 2.0):.6e}, {abs(b - 1.0):.6e}")预期输出(数值按指定格式四舍五入):
0 | w=0.000000 | b=0.000000 | loss=9.000000
1 | w=0.800000 | b=0.200000 | loss=3.280000
2 | w=1.280000 | b=0.360000 | loss=1.228800
5 | w=1.844480 | b=0.672320 | loss=0.263926
10 | w=1.987907 | b=0.892626 | loss=0.011822
50 | w=2.000000 | b=0.999986 | loss=0.000000
100 | w=2.000000 | b=1.000000 | loss=0.000000
最终预测 x=3: 7.000000
参数误差: 0.000000e+00, 2.037036e-10history 保存的是每次更新前的参数与损失,所以记录中的 epoch 0 是初始状态,epoch 100 是完成 100 次更新后的状态。代码在最后一轮主动退出,避免打印状态和实际更新次数不一致。
本例使用 NumPy 数组进行向量化计算,errors * x 会逐元素相乘,np.mean 再对全部样本求平均。因此梯度公式里的求和与除以样本数,不需要自己编写内层循环。
对照拟合直线和权重变化
判断训练是否成功,不能只看最终损失。还应该比较参数是否接近真实规律,以及样本范围外的预测是否合理。
本例已知目标直线为 。初始模型是一条水平线 ;训练第 1 次更新后变成 ;经过 100 次更新后,拟合直线几乎与真实直线重合。

利用 history 还可以复核每个阶段的训练表现:
| 更新次数 | 权重 w | 偏置 b | 损失 MSE |
|---|---|---|---|
| 0 | 0.000000 | 0.000000 | 9.000000 |
| 1 | 0.800000 | 0.200000 | 3.280000 |
| 2 | 1.280000 | 0.360000 | 1.228800 |
| 10 | 1.987907 | 0.892626 | 0.011822 |
| 50 | 2.000000 | 0.999986 | 小于 0.000001 |
| 100 | 2.000000 | 1.000000 | 小于 0.000001 |
这里权重收敛快于偏置,因为当前数据的平均平方输入为 2,权重梯度在相同参数误差下比偏置梯度更大。这个特征与输入尺度有关,并不是所有数据集都会如此。
再用训练集之外的 检查:真实目标为 7,模型预测约为 7。对于无噪声且确实满足线性规律的数据,这是参数正确收敛的直接证据。真实业务数据存在噪声时,还需要划分验证集,而不能仅凭训练损失判断泛化能力。
学习率和训练失败的排查
固定学习率并非越大越好。本例的权重误差在每次更新后会乘以 ,偏置误差会乘以 。当学习率满足 时,两个误差都会逐步衰减;这是针对当前数据的结论,不能直接套用到其他数据集。
| 学习率 | 本例中的表现 | 建议 |
|---|---|---|
| 0.01 | 收敛较慢 | 可增加训练轮数 |
| 0.1 | 稳定收敛 | 本课推荐起点 |
| 0.5 | 权重误差幅度不减 | 不适合本例 |
| 0.6 | 权重误差放大,损失发散 | 降低学习率 |
如果训练时出现损失持续增大,先检查更新是否使用负梯度,再检查学习率。若数据的 范围从 -2~2 扩大到数千,梯度量级可能明显增加,原来的学习率不一定仍然适用,可以先对输入进行标准化。
还应避免两个常见实现错误:一是把 np.mean(errors * x) 写成 np.mean(errors) * np.mean(x),它们一般不相等;二是在计算 dw 后立即更新 w,再用新权重重新计算 db。本课使用同一轮预测误差同时计算两个梯度,然后统一更新,确保两者都来自相同的参数状态。
可以将代码中的 learning_rate 分别改为 0.01 和 0.6,保持其他设置不变,观察记录中的损失变化。如果学习率为 0.6,随着训练推进,损失通常会明显上升;恢复为 0.1 后应重新下降。
通过这次实验,可以完整核对梯度下降的闭环:由当前参数计算预测和损失,由误差计算梯度,再更新参数,直到拟合直线接近真实规律。以后训练更多特征的线性模型时,仍然沿用这一过程,只需把标量权重扩展为权重向量。