机器学习与深度学习 / 系统课时
配置优化器
配置优化器
优化器读取反向传播得到的梯度,并按照指定规则更新模型参数。本课将用同一组初始参数比较 SGD、Adam 和 AdamW 的一次更新结果,再说明学习率、动量与权重衰减等关键配置应如何选择。
学习目标
- 使用 SGD、Adam 和 AdamW 管理模型参数
- 理解学习率、动量、自适应统计量与权重衰减
- 掌握标准的清零梯度、反向传播和参数更新顺序
优化器在训练中的位置
一次训练迭代通常依次完成前向计算、损失计算、梯度清零、反向传播和参数更新。优化器不会自动计算梯度,它只读取参数的 .grad,因此必须在 loss.backward() 之后调用 optimizer.step()。
标准顺序如下:先调用 optimizer.zero_grad() 清除上一轮累积梯度,再执行前向计算与损失计算,然后反向传播,最后更新参数。清零操作也可以放在上一轮 step() 之后,但整个项目应保持一致。
SGD、Adam 与 AdamW
| 优化器 | 主要特点 | 常见使用场景 |
|---|---|---|
| SGD | 更新规则直接,配合动量后稳定;通常需要更细致地调学习率 | 图像分类、追求较强泛化能力的成熟训练方案 |
| Adam | 为不同参数自适应调整步长,前期收敛通常较快 | 原型验证、自然语言处理、稀疏梯度任务 |
| AdamW | 将权重衰减与梯度更新解耦,配置含义更清晰 | Transformer、现代深度学习模型的常用默认选择 |
没有一种优化器对所有任务都最好。实际选择应结合验证集表现、训练预算和已有基线,而不是只观察训练损失下降速度。
完整配置与单步验证
下面让三个优化器从相同权重开始,各执行一次更新。为了便于比较,模型只有一个不带偏置的线性参数。
import torch
from torch import nn
def run_one_step(name: str) -> tuple[float, float]:
model = nn.Linear(1, 1, bias=False)
with torch.no_grad():
model.weight.fill_(1.0)
x = torch.tensor([[1.0], [2.0]])
y = torch.tensor([[2.0], [4.0]])
if name == "SGD":
optimizer = torch.optim.SGD(model.parameters(), lr=0.1, momentum=0.9)
elif name == "Adam":
optimizer = torch.optim.Adam(model.parameters(), lr=0.1)
elif name == "AdamW":
optimizer = torch.optim.AdamW(
model.parameters(), lr=0.1, weight_decay=0.01
)
else:
raise ValueError(f"unsupported optimizer: {name}")
optimizer.zero_grad()
loss = nn.MSELoss()(model(x), y)
loss.backward()
optimizer.step()
return loss.item(), model.weight.item()
for optimizer_name in ("SGD", "Adam", "AdamW"):
loss_value, weight_value = run_one_step(optimizer_name)
print(f"{optimizer_name}: loss={loss_value:.4f}, weight={weight_value:.4f}")预期输出:
SGD: loss=2.5000, weight=1.5000
Adam: loss=2.5000, weight=1.1000
AdamW: loss=2.5000, weight=1.0990初始损失相同,但更新后的权重不同,因为三种优化器使用的更新规则不同。一次更新不能判断最终优劣,正式实验应在相同数据划分、随机种子和训练轮数下比较验证指标。
关键超参数
学习率 lr 决定每次更新的基础步长。过大会导致损失震荡甚至发散,过小则训练缓慢。通常先采用框架或论文中的可靠默认值,再根据损失曲线和验证指标调整,并配合学习率调度器逐步降低。
SGD 的 momentum 会累积历史更新方向,常用值为 0.9。它能减少局部震荡并加速沿稳定方向前进,但改变学习率后,动量带来的实际更新幅度也会变化。
Adam 和 AdamW 的 betas 控制一阶、二阶梯度统计的指数移动平均,默认 (0.9, 0.999) 对多数任务可用。eps 用于避免除零,除非出现混合精度数值问题,通常不必修改。
weight_decay 用于抑制参数过度增大。AdamW 对权重衰减采用解耦实现,通常比在 Adam 中直接设置同名参数更符合现代训练方案的预期。偏置和归一化层参数是否衰减,应根据模型基线决定。
参数分组与检查
同一个优化器可以接收多个参数组,为主干网络、分类头或不同类型参数设置不同学习率和权重衰减。配置前要确认每个可训练参数只出现一次,遗漏的参数不会被更新,重复加入则会引发错误或不可控行为。
训练开始后,可以检查 optimizer.param_groups 中的 lr 与 weight_decay,并确认冻结参数的 requires_grad 为 False。当损失完全不下降时,还应检查梯度是否为 None、梯度是否接近零,以及 optimizer.step() 是否真的执行。