机器学习与深度学习 / 系统课时

配置优化器

配置优化器

优化器负责把反向传播得到的梯度转换成参数更新。本篇用同一个一维参数分别配置 SGD 和 Adam,观察学习率、动量等参数如何影响一次更新,并说明真实模型中参数组、梯度清零和权重衰减应怎样配置。

学习目标

  • 使用 torch.optim.SGD 和 torch.optim.Adam 管理模型参数
  • 正确执行 zero_grad()、backward()、step() 的训练更新顺序
  • 根据参数组检查并设置学习率、动量和权重衰减

完成一次参数更新

PyTorch 优化器接收可迭代参数,最常见的来源是 model.parameters()。一次标准更新的顺序是:清理旧梯度、计算损失、反向传播、调用优化器更新参数。梯度默认会累积,因此不能省略清理步骤。

下面用目标值 3.0 和初始参数 1.0 比较 SGD 与 Adam 的第一次更新。SGD 设置 lr=0.1、momentum=0.9;Adam 设置 lr=0.1,其余参数保持默认值。

python
import torch


def run_once(name: str) -> None:
    w = torch.nn.Parameter(torch.tensor([1.0]))

    if name == "sgd":
        optimizer = torch.optim.SGD([w], lr=0.1, momentum=0.9)
    elif name == "adam":
        optimizer = torch.optim.Adam([w], lr=0.1)
    else:
        raise ValueError(f"unknown optimizer: {name}")

    before = w.item()
    optimizer.zero_grad(set_to_none=True)
    loss = (w - 3.0).pow(2).sum()
    loss.backward()
    grad = w.grad.item()
    optimizer.step()

    print(f"{name.upper()}: before={before:.4f}, grad={grad:.4f}, after={w.item():.4f}")


if __name__ == "__main__":
    run_once("sgd")
    run_once("adam")

预期输出:

text
SGD: before=1.0000, grad=-4.0000, after=1.4000
ADAM: before=1.0000, grad=-4.0000, after=1.1000

两种优化器收到的是同一个梯度,但更新规则不同。不能仅根据第一次移动距离判断哪一种更好,真实训练应比较验证集损失、收敛速度和最终指标。

选择 SGD 与 Adam 的关键参数

SGD 的核心参数包括 lr、momentum、weight_decay 和 nesterov。例如图像分类模型可从 lr=0.1、momentum=0.9 开始实验;使用 Nesterov 动量时必须同时启用正动量值。

Adam 常用起点是 lr=1e-3,默认 betas=(0.9, 0.999)、eps=1e-8。学习率通常比 SGD 小一个到两个数量级,但实际值仍应由任务和批大小决定。

优化器 常见起始配置 更值得关注的参数
SGD lr=0.1, momentum=0.9 lr、momentum、weight_decay
Adam lr=1e-3 lr、betas、eps

如果目标是使用与梯度更新解耦的权重衰减,应考虑 torch.optim.AdamW,而不是把 Adam 的 weight_decay 与 AdamW 当成完全相同的算法。

为不同模块设置参数组

同一模型可以给不同参数设置不同学习率。例如微调模型时,已有骨干网络使用 1e-4,新建分类头使用 1e-3。优化器的参数组是字典列表,每组至少包含 params,并可覆盖全局参数。

python
import torch
from torch import nn


class Net(nn.Module):
    def __init__(self) -> None:
        super().__init__()
        self.backbone = nn.Linear(4, 8)
        self.head = nn.Linear(8, 2)

    def forward(self, x: torch.Tensor) -> torch.Tensor:
        return self.head(torch.relu(self.backbone(x)))


model = Net()
optimizer = torch.optim.Adam(
    [
        {"params": model.backbone.parameters(), "lr": 1e-4},
        {"params": model.head.parameters(), "lr": 1e-3},
    ]
)

for index, group in enumerate(optimizer.param_groups):
    count = sum(p.numel() for p in group["params"])
    print(f"group={index}, lr={group['lr']}, params={count}")

预期输出:

text
group=0, lr=0.0001, params=40
group=1, lr=0.001, params=18

参数只能按预期归入优化器。若先创建优化器,再把某些层替换成新的 nn.Linear,新层参数不会自动进入旧优化器;修改模型结构后应重新检查 optimizer.param_groups。

避免训练循环中的常见错误

正确顺序通常是 optimizer.zero_grad(set_to_none=True)、前向计算、损失计算、loss.backward()、optimizer.step()。如果连续两轮都不清理梯度,第二轮的 .grad 会包含前两轮梯度之和,这只有在有意做梯度累积时才正确。

set_to_none=True 会把梯度设为 None,通常比逐元素清零更节省写内存操作。调试时可在 step() 前检查关键参数的 grad is None、梯度范数以及当前参数组的 lr。若参数 requires_grad=False,反向传播不会为它产生梯度;若参数根本没有交给优化器,即使存在梯度也不会被 step() 更新。

训练不收敛时,先确认损失能正常下降、参数确实存在非空梯度,再调整学习率。把学习率从 1e-3 直接改到 1 通常不是排查问题的第一步,因为过大的步长可能让损失立即震荡或发散。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

配置优化器

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通