机器学习与深度学习 / 系统课时
配置优化器
配置优化器
优化器负责把反向传播得到的梯度转换成参数更新。本篇用同一个一维参数分别配置 SGD 和 Adam,观察学习率、动量等参数如何影响一次更新,并说明真实模型中参数组、梯度清零和权重衰减应怎样配置。
学习目标
- 使用
torch.optim.SGD和torch.optim.Adam管理模型参数 - 正确执行
zero_grad()、backward()、step()的训练更新顺序 - 根据参数组检查并设置学习率、动量和权重衰减
完成一次参数更新
PyTorch 优化器接收可迭代参数,最常见的来源是 model.parameters()。一次标准更新的顺序是:清理旧梯度、计算损失、反向传播、调用优化器更新参数。梯度默认会累积,因此不能省略清理步骤。
下面用目标值 3.0 和初始参数 1.0 比较 SGD 与 Adam 的第一次更新。SGD 设置 lr=0.1、momentum=0.9;Adam 设置 lr=0.1,其余参数保持默认值。
import torch
def run_once(name: str) -> None:
w = torch.nn.Parameter(torch.tensor([1.0]))
if name == "sgd":
optimizer = torch.optim.SGD([w], lr=0.1, momentum=0.9)
elif name == "adam":
optimizer = torch.optim.Adam([w], lr=0.1)
else:
raise ValueError(f"unknown optimizer: {name}")
before = w.item()
optimizer.zero_grad(set_to_none=True)
loss = (w - 3.0).pow(2).sum()
loss.backward()
grad = w.grad.item()
optimizer.step()
print(f"{name.upper()}: before={before:.4f}, grad={grad:.4f}, after={w.item():.4f}")
if __name__ == "__main__":
run_once("sgd")
run_once("adam")预期输出:
SGD: before=1.0000, grad=-4.0000, after=1.4000
ADAM: before=1.0000, grad=-4.0000, after=1.1000两种优化器收到的是同一个梯度,但更新规则不同。不能仅根据第一次移动距离判断哪一种更好,真实训练应比较验证集损失、收敛速度和最终指标。
选择 SGD 与 Adam 的关键参数
SGD 的核心参数包括 lr、momentum、weight_decay 和 nesterov。例如图像分类模型可从 lr=0.1、momentum=0.9 开始实验;使用 Nesterov 动量时必须同时启用正动量值。
Adam 常用起点是 lr=1e-3,默认 betas=(0.9, 0.999)、eps=1e-8。学习率通常比 SGD 小一个到两个数量级,但实际值仍应由任务和批大小决定。
| 优化器 | 常见起始配置 | 更值得关注的参数 |
|---|---|---|
| SGD | lr=0.1, momentum=0.9 |
lr、momentum、weight_decay |
| Adam | lr=1e-3 |
lr、betas、eps |
如果目标是使用与梯度更新解耦的权重衰减,应考虑 torch.optim.AdamW,而不是把 Adam 的 weight_decay 与 AdamW 当成完全相同的算法。
为不同模块设置参数组
同一模型可以给不同参数设置不同学习率。例如微调模型时,已有骨干网络使用 1e-4,新建分类头使用 1e-3。优化器的参数组是字典列表,每组至少包含 params,并可覆盖全局参数。
import torch
from torch import nn
class Net(nn.Module):
def __init__(self) -> None:
super().__init__()
self.backbone = nn.Linear(4, 8)
self.head = nn.Linear(8, 2)
def forward(self, x: torch.Tensor) -> torch.Tensor:
return self.head(torch.relu(self.backbone(x)))
model = Net()
optimizer = torch.optim.Adam(
[
{"params": model.backbone.parameters(), "lr": 1e-4},
{"params": model.head.parameters(), "lr": 1e-3},
]
)
for index, group in enumerate(optimizer.param_groups):
count = sum(p.numel() for p in group["params"])
print(f"group={index}, lr={group['lr']}, params={count}")预期输出:
group=0, lr=0.0001, params=40
group=1, lr=0.001, params=18参数只能按预期归入优化器。若先创建优化器,再把某些层替换成新的 nn.Linear,新层参数不会自动进入旧优化器;修改模型结构后应重新检查 optimizer.param_groups。
避免训练循环中的常见错误
正确顺序通常是 optimizer.zero_grad(set_to_none=True)、前向计算、损失计算、loss.backward()、optimizer.step()。如果连续两轮都不清理梯度,第二轮的 .grad 会包含前两轮梯度之和,这只有在有意做梯度累积时才正确。
set_to_none=True 会把梯度设为 None,通常比逐元素清零更节省写内存操作。调试时可在 step() 前检查关键参数的 grad is None、梯度范数以及当前参数组的 lr。若参数 requires_grad=False,反向传播不会为它产生梯度;若参数根本没有交给优化器,即使存在梯度也不会被 step() 更新。
训练不收敛时,先确认损失能正常下降、参数确实存在非空梯度,再调整学习率。把学习率从 1e-3 直接改到 1 通常不是排查问题的第一步,因为过大的步长可能让损失立即震荡或发散。