机器学习与深度学习 / 系统课时

手动更新模型参数

手动更新模型参数

优化器做的核心工作可以先用一行公式理解:根据当前梯度和学习率修改参数。手动完成一次 backward()、参数更新和梯度清理后,就能看清 torch.optim.SGD 等优化器替你管理了哪些步骤,也能避免把参数更新本身错误地记录进计算图。

学习目标

  • 根据梯度下降公式手算一次参数更新。
  • 使用 torch.no_grad() 安全修改 nn.Parameter。
  • 理解清空梯度以及优化器状态管理的必要性。

用数字算清一次梯度下降

设模型只有一个权重 w=1.0,输入 x=2.0,目标 y=4.0,预测为 y_hat=w*x,损失使用平方误差 loss=(y_hat-y)^2。第一次前向得到预测 2.0、损失 4.0,对权重的梯度是 -8.0。

学习率取 lr=0.1 时,更新公式为 wnew=w−lr∗gradw_{new}=w-lr*grad,因此新权重是 1.0 - 0.1 * (-8.0) = 1.8。下一次前向预测会变成 3.6,已经明显靠近目标 4.0。

用 nn.Parameter 手动更新

下面的脚本完整执行两次训练迭代。参数更新放在 torch.no_grad() 中,因为更新动作本身不应成为下一轮反向传播图的一部分;每轮更新后把 w.grad 设为 None,防止梯度跨轮累积。

python
import torch
from torch import nn

w = nn.Parameter(torch.tensor(1.0))
x = torch.tensor(2.0)
target = torch.tensor(4.0)
lr = 0.1

for step in range(2):
    prediction = w * x
    loss = (prediction - target) ** 2
    loss.backward()

    print(
        f"step={step} w={w.item():.4f} "
        f"loss={loss.item():.4f} grad={w.grad.item():.4f}"
    )

    # 参数更新不是要学习的运算,因此关闭梯度记录。
    with torch.no_grad():
        w -= lr * w.grad

    # 下一轮反向传播前清掉本轮梯度。
    w.grad = None

print(f"final w={w.item():.4f}")

预期输出:

text
step=0 w=1.0000 loss=4.0000 grad=-8.0000
step=1 w=1.8000 loss=0.1600 grad=-1.6000
final w=1.9600

这组数值可以直接验算:第一次更新后 w=1.8;第二次梯度是 -1.6,再更新得到 1.96。如果输出中的梯度第二轮不是约 -1.6,先检查是否忘记清理上一轮的 w.grad。

为什么更新要脱离 Autograd

nn.Parameter 默认是需要梯度的叶子张量。直接执行 w -= lr * w.grad 会对需要梯度的叶子张量做原地修改,PyTorch 会报错,而不是把这一步当成正常训练。

错误做法是让参数更新发生在梯度记录开启的上下文中;正确做法是用 with torch.no_grad(): 包住更新,或交给优化器执行 optimizer.step()。在手动实现时,还要保证更新顺序固定为:前向计算、计算损失、backward()、更新参数、清理梯度。

对照优化器的职责

同样的普通 SGD 更新交给 PyTorch 时,通常写成 optimizer.zero_grad()、loss.backward()、optimizer.step() 三步。对无动量的 SGD,optimizer.step() 本质上完成与本课 w -= lr * w.grad 等价的参数修改。

优化器的价值在参数变多和算法变复杂后更明显。它会统一遍历参数组,并保存 Momentum、Adam 一阶与二阶矩等状态;参数组还能分别设置学习率和权重衰减。例如同一模型可以让 backbone 使用 1e-4,分类头使用 1e-3,而不必手写两套更新循环。

手动更新适合教学、验证新优化算法或调试梯度;常规训练应优先使用 torch.optim,因为它能减少漏更新参数、忘记清梯度和错误管理优化器状态等工程问题。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

手动更新模型参数

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通