机器学习与深度学习 / 系统课时
手动更新模型参数
手动更新模型参数
优化器做的核心工作可以先用一行公式理解:根据当前梯度和学习率修改参数。手动完成一次 backward()、参数更新和梯度清理后,就能看清 torch.optim.SGD 等优化器替你管理了哪些步骤,也能避免把参数更新本身错误地记录进计算图。
学习目标
- 根据梯度下降公式手算一次参数更新。
- 使用
torch.no_grad()安全修改nn.Parameter。 - 理解清空梯度以及优化器状态管理的必要性。
用数字算清一次梯度下降
设模型只有一个权重 w=1.0,输入 x=2.0,目标 y=4.0,预测为 y_hat=w*x,损失使用平方误差 loss=(y_hat-y)^2。第一次前向得到预测 2.0、损失 4.0,对权重的梯度是 -8.0。
学习率取 lr=0.1 时,更新公式为 ,因此新权重是 1.0 - 0.1 * (-8.0) = 1.8。下一次前向预测会变成 3.6,已经明显靠近目标 4.0。
用 nn.Parameter 手动更新
下面的脚本完整执行两次训练迭代。参数更新放在 torch.no_grad() 中,因为更新动作本身不应成为下一轮反向传播图的一部分;每轮更新后把 w.grad 设为 None,防止梯度跨轮累积。
import torch
from torch import nn
w = nn.Parameter(torch.tensor(1.0))
x = torch.tensor(2.0)
target = torch.tensor(4.0)
lr = 0.1
for step in range(2):
prediction = w * x
loss = (prediction - target) ** 2
loss.backward()
print(
f"step={step} w={w.item():.4f} "
f"loss={loss.item():.4f} grad={w.grad.item():.4f}"
)
# 参数更新不是要学习的运算,因此关闭梯度记录。
with torch.no_grad():
w -= lr * w.grad
# 下一轮反向传播前清掉本轮梯度。
w.grad = None
print(f"final w={w.item():.4f}")预期输出:
step=0 w=1.0000 loss=4.0000 grad=-8.0000
step=1 w=1.8000 loss=0.1600 grad=-1.6000
final w=1.9600这组数值可以直接验算:第一次更新后 w=1.8;第二次梯度是 -1.6,再更新得到 1.96。如果输出中的梯度第二轮不是约 -1.6,先检查是否忘记清理上一轮的 w.grad。
为什么更新要脱离 Autograd
nn.Parameter 默认是需要梯度的叶子张量。直接执行 w -= lr * w.grad 会对需要梯度的叶子张量做原地修改,PyTorch 会报错,而不是把这一步当成正常训练。
错误做法是让参数更新发生在梯度记录开启的上下文中;正确做法是用 with torch.no_grad(): 包住更新,或交给优化器执行 optimizer.step()。在手动实现时,还要保证更新顺序固定为:前向计算、计算损失、backward()、更新参数、清理梯度。
对照优化器的职责
同样的普通 SGD 更新交给 PyTorch 时,通常写成 optimizer.zero_grad()、loss.backward()、optimizer.step() 三步。对无动量的 SGD,optimizer.step() 本质上完成与本课 w -= lr * w.grad 等价的参数修改。
优化器的价值在参数变多和算法变复杂后更明显。它会统一遍历参数组,并保存 Momentum、Adam 一阶与二阶矩等状态;参数组还能分别设置学习率和权重衰减。例如同一模型可以让 backbone 使用 1e-4,分类头使用 1e-3,而不必手写两套更新循环。
手动更新适合教学、验证新优化算法或调试梯度;常规训练应优先使用 torch.optim,因为它能减少漏更新参数、忘记清梯度和错误管理优化器状态等工程问题。