机器学习与深度学习 / 系统课时
选择优化器
选择优化器
优化器决定参数如何利用梯度更新。面对 SGD、Momentum、Adam 和 AdamW,不需要先背算法推导;先看训练稳定性、收敛速度、显存开销与权重衰减方式,再用一组可复现的起始超参数做小规模试验。
学习目标
- 区分 SGD、带 Momentum 的 SGD、Adam 与 AdamW 的主要行为。
- 能为图像训练、微调等常见任务选出合理的初始优化器与学习率。
- 能用 PyTorch 正确创建优化器并检查关键参数。
四种优化器怎么区分
PyTorch 没有单独的 Momentum 优化器类;Momentum 通过 torch.optim.SGD(..., momentum=0.9) 启用。Adam 与 AdamW 都维护梯度的一阶、二阶移动统计量,而 AdamW 把权重衰减与梯度更新解耦,通常更适合显式使用 weight decay 的现代深度网络。
| 方案 | 常用起点 | 主要特点 | 更适合的情况 |
|---|---|---|---|
| SGD | lr=0.1 |
状态少、行为直观,但对学习率更敏感 | 大规模图像分类、希望充分调参 |
| SGD + Momentum | lr=0.05~0.1, momentum=0.9 |
利用历史方向减少震荡 | CNN 从头训练、梯度方向较稳定 |
| Adam | lr=1e-3, betas=(0.9, 0.999) |
各参数自适应步长,前期通常收敛快 | 原型验证、稀疏或尺度差异明显的梯度 |
| AdamW | lr=3e-4, weight_decay=1e-2 |
Adam 式自适应更新,并解耦权重衰减 | Transformer、迁移学习和常见现代训练配方 |
这些数值是搜索起点,不是固定答案。若 batch size、模型规模或归一化方式改变,学习率也应重新验证;例如微调预训练模型时常把 AdamW 学习率降到 1e-5~1e-4。
用同一模型创建四种优化器
下面的脚本只创建优化器并读取第一个参数组,便于确认真实 API、默认 betas 和设置后的 weight_decay。四个优化器共用同一模型仅用于检查配置,没有执行参数更新。
import torch
from torch import nn
model = nn.Linear(4, 2)
optimizers = {
"SGD": torch.optim.SGD(model.parameters(), lr=0.1),
"Momentum": torch.optim.SGD(model.parameters(), lr=0.05, momentum=0.9),
"Adam": torch.optim.Adam(model.parameters(), lr=1e-3),
"AdamW": torch.optim.AdamW(
model.parameters(),
lr=3e-4,
weight_decay=1e-2,
),
}
for name, optimizer in optimizers.items():
group = optimizer.param_groups[0]
if "betas" in group:
detail = f"betas={group['betas']}"
else:
detail = f"momentum={group['momentum']}"
print(
f"{name}: lr={group['lr']:.4g}, "
f"{detail}, weight_decay={group['weight_decay']:.4g}"
)预期输出
SGD: lr=0.1, momentum=0, weight_decay=0
Momentum: lr=0.05, momentum=0.9, weight_decay=0
Adam: lr=0.001, betas=(0.9, 0.999), weight_decay=0
AdamW: lr=0.0003, betas=(0.9, 0.999), weight_decay=0.01实际训练时,一个参数只能由当前采用的优化器更新。每个 batch 的基本顺序是 optimizer.zero_grad()、前向计算、loss.backward()、optimizer.step();不要让多个优化器同时更新同一批参数,除非模型结构明确需要分区优化。
给任务选择一个可验证的起点
如果是从头训练 ResNet 一类 CNN,可先试 SGD(lr=0.1, momentum=0.9, weight_decay=1e-4),再围绕学习率做 3 倍到 10 倍的上下搜索。若前几十个 epoch 损失下降缓慢但稳定,优先调学习率和调度器,不必立刻换 Adam。
如果是迁移学习或 Transformer 类模型,可先试 AdamW(lr=3e-4, weight_decay=1e-2);只微调预训练主干时,把学习率收窄到 1e-5~1e-4 更稳妥。Adam 常用于快速基线,但若同时需要明确的权重衰减语义,直接选 AdamW 更清晰。
两个容易混淆的边界
momentum=0.9 不是把学习率乘以 0.9,而是让更新方向带上历史梯度信息;因此把 SGD 的 lr=0.1 原样迁移到 Adam 往往会过大。Adam/AdamW 的常见起点通常低两个数量级左右,例如 1e-3 或 3e-4。
weight_decay 也不是“训练越大越好”的正则强度。以 AdamW 为例,1e-2 是常见起点;如果训练损失和验证损失都长期偏高,可先把它降到 1e-3 或 0 做对照。优化器选择应和学习率、调度策略一起记录,才能复现实验结论。