机器学习与深度学习 / 系统课时

配置优化器

配置优化器

优化器读取反向传播得到的梯度,并按照指定规则更新模型参数。本课将用同一组初始参数比较 SGD、Adam 和 AdamW 的一次更新结果,再说明学习率、动量与权重衰减等关键配置应如何选择。

学习目标

  • 使用 SGD、Adam 和 AdamW 管理模型参数
  • 理解学习率、动量、自适应统计量与权重衰减
  • 掌握标准的清零梯度、反向传播和参数更新顺序

优化器在训练中的位置

一次训练迭代通常依次完成前向计算、损失计算、梯度清零、反向传播和参数更新。优化器不会自动计算梯度,它只读取参数的 .grad,因此必须在 loss.backward() 之后调用 optimizer.step()。

标准顺序如下:先调用 optimizer.zero_grad() 清除上一轮累积梯度,再执行前向计算与损失计算,然后反向传播,最后更新参数。清零操作也可以放在上一轮 step() 之后,但整个项目应保持一致。

SGD、Adam 与 AdamW

优化器 主要特点 常见使用场景
SGD 更新规则直接,配合动量后稳定;通常需要更细致地调学习率 图像分类、追求较强泛化能力的成熟训练方案
Adam 为不同参数自适应调整步长,前期收敛通常较快 原型验证、自然语言处理、稀疏梯度任务
AdamW 将权重衰减与梯度更新解耦,配置含义更清晰 Transformer、现代深度学习模型的常用默认选择

没有一种优化器对所有任务都最好。实际选择应结合验证集表现、训练预算和已有基线,而不是只观察训练损失下降速度。

完整配置与单步验证

下面让三个优化器从相同权重开始,各执行一次更新。为了便于比较,模型只有一个不带偏置的线性参数。

python
import torch
from torch import nn

def run_one_step(name: str) -> tuple[float, float]:
    model = nn.Linear(1, 1, bias=False)
    with torch.no_grad():
        model.weight.fill_(1.0)

    x = torch.tensor([[1.0], [2.0]])
    y = torch.tensor([[2.0], [4.0]])

    if name == "SGD":
        optimizer = torch.optim.SGD(model.parameters(), lr=0.1, momentum=0.9)
    elif name == "Adam":
        optimizer = torch.optim.Adam(model.parameters(), lr=0.1)
    elif name == "AdamW":
        optimizer = torch.optim.AdamW(
            model.parameters(), lr=0.1, weight_decay=0.01
        )
    else:
        raise ValueError(f"unsupported optimizer: {name}")

    optimizer.zero_grad()
    loss = nn.MSELoss()(model(x), y)
    loss.backward()
    optimizer.step()

    return loss.item(), model.weight.item()

for optimizer_name in ("SGD", "Adam", "AdamW"):
    loss_value, weight_value = run_one_step(optimizer_name)
    print(f"{optimizer_name}: loss={loss_value:.4f}, weight={weight_value:.4f}")

预期输出:

text
SGD: loss=2.5000, weight=1.5000
Adam: loss=2.5000, weight=1.1000
AdamW: loss=2.5000, weight=1.0990

初始损失相同,但更新后的权重不同,因为三种优化器使用的更新规则不同。一次更新不能判断最终优劣,正式实验应在相同数据划分、随机种子和训练轮数下比较验证指标。

关键超参数

学习率 lr 决定每次更新的基础步长。过大会导致损失震荡甚至发散,过小则训练缓慢。通常先采用框架或论文中的可靠默认值,再根据损失曲线和验证指标调整,并配合学习率调度器逐步降低。

SGD 的 momentum 会累积历史更新方向,常用值为 0.9。它能减少局部震荡并加速沿稳定方向前进,但改变学习率后,动量带来的实际更新幅度也会变化。

Adam 和 AdamW 的 betas 控制一阶、二阶梯度统计的指数移动平均,默认 (0.9, 0.999) 对多数任务可用。eps 用于避免除零,除非出现混合精度数值问题,通常不必修改。

weight_decay 用于抑制参数过度增大。AdamW 对权重衰减采用解耦实现,通常比在 Adam 中直接设置同名参数更符合现代训练方案的预期。偏置和归一化层参数是否衰减,应根据模型基线决定。

参数分组与检查

同一个优化器可以接收多个参数组,为主干网络、分类头或不同类型参数设置不同学习率和权重衰减。配置前要确认每个可训练参数只出现一次,遗漏的参数不会被更新,重复加入则会引发错误或不可控行为。

训练开始后,可以检查 optimizer.param_groups 中的 lr 与 weight_decay,并确认冻结参数的 requires_grad 为 False。当损失完全不下降时,还应检查梯度是否为 None、梯度是否接近零,以及 optimizer.step() 是否真的执行。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

配置优化器

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通