机器学习与深度学习 / 系统课时

选择优化器

选择优化器

优化器决定参数如何利用梯度更新。面对 SGD、Momentum、Adam 和 AdamW,不需要先背算法推导;先看训练稳定性、收敛速度、显存开销与权重衰减方式,再用一组可复现的起始超参数做小规模试验。

学习目标

  • 区分 SGD、带 Momentum 的 SGD、Adam 与 AdamW 的主要行为。
  • 能为图像训练、微调等常见任务选出合理的初始优化器与学习率。
  • 能用 PyTorch 正确创建优化器并检查关键参数。

四种优化器怎么区分

PyTorch 没有单独的 Momentum 优化器类;Momentum 通过 torch.optim.SGD(..., momentum=0.9) 启用。Adam 与 AdamW 都维护梯度的一阶、二阶移动统计量,而 AdamW 把权重衰减与梯度更新解耦,通常更适合显式使用 weight decay 的现代深度网络。

方案 常用起点 主要特点 更适合的情况
SGD lr=0.1 状态少、行为直观,但对学习率更敏感 大规模图像分类、希望充分调参
SGD + Momentum lr=0.05~0.1, momentum=0.9 利用历史方向减少震荡 CNN 从头训练、梯度方向较稳定
Adam lr=1e-3, betas=(0.9, 0.999) 各参数自适应步长,前期通常收敛快 原型验证、稀疏或尺度差异明显的梯度
AdamW lr=3e-4, weight_decay=1e-2 Adam 式自适应更新,并解耦权重衰减 Transformer、迁移学习和常见现代训练配方

这些数值是搜索起点,不是固定答案。若 batch size、模型规模或归一化方式改变,学习率也应重新验证;例如微调预训练模型时常把 AdamW 学习率降到 1e-5~1e-4。

用同一模型创建四种优化器

下面的脚本只创建优化器并读取第一个参数组,便于确认真实 API、默认 betas 和设置后的 weight_decay。四个优化器共用同一模型仅用于检查配置,没有执行参数更新。

python
import torch
from torch import nn

model = nn.Linear(4, 2)

optimizers = {
    "SGD": torch.optim.SGD(model.parameters(), lr=0.1),
    "Momentum": torch.optim.SGD(model.parameters(), lr=0.05, momentum=0.9),
    "Adam": torch.optim.Adam(model.parameters(), lr=1e-3),
    "AdamW": torch.optim.AdamW(
        model.parameters(),
        lr=3e-4,
        weight_decay=1e-2,
    ),
}

for name, optimizer in optimizers.items():
    group = optimizer.param_groups[0]
    if "betas" in group:
        detail = f"betas={group['betas']}"
    else:
        detail = f"momentum={group['momentum']}"
    print(
        f"{name}: lr={group['lr']:.4g}, "
        f"{detail}, weight_decay={group['weight_decay']:.4g}"
    )

预期输出

text
SGD: lr=0.1, momentum=0, weight_decay=0
Momentum: lr=0.05, momentum=0.9, weight_decay=0
Adam: lr=0.001, betas=(0.9, 0.999), weight_decay=0
AdamW: lr=0.0003, betas=(0.9, 0.999), weight_decay=0.01

实际训练时,一个参数只能由当前采用的优化器更新。每个 batch 的基本顺序是 optimizer.zero_grad()、前向计算、loss.backward()、optimizer.step();不要让多个优化器同时更新同一批参数,除非模型结构明确需要分区优化。

给任务选择一个可验证的起点

如果是从头训练 ResNet 一类 CNN,可先试 SGD(lr=0.1, momentum=0.9, weight_decay=1e-4),再围绕学习率做 3 倍到 10 倍的上下搜索。若前几十个 epoch 损失下降缓慢但稳定,优先调学习率和调度器,不必立刻换 Adam。

如果是迁移学习或 Transformer 类模型,可先试 AdamW(lr=3e-4, weight_decay=1e-2);只微调预训练主干时,把学习率收窄到 1e-5~1e-4 更稳妥。Adam 常用于快速基线,但若同时需要明确的权重衰减语义,直接选 AdamW 更清晰。

两个容易混淆的边界

momentum=0.9 不是把学习率乘以 0.9,而是让更新方向带上历史梯度信息;因此把 SGD 的 lr=0.1 原样迁移到 Adam 往往会过大。Adam/AdamW 的常见起点通常低两个数量级左右,例如 1e-3 或 3e-4。

weight_decay 也不是“训练越大越好”的正则强度。以 AdamW 为例,1e-2 是常见起点;如果训练损失和验证损失都长期偏高,可先把它降到 1e-3 或 0 做对照。优化器选择应和学习率、调度策略一起记录,才能复现实验结论。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

选择优化器

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通