大模型原理与训练 / 系统课时
配置 AdamW 参数更新
配置 AdamW 参数更新
AdamW 不只是把 Adam 换个名字:它同时维护梯度的一阶、二阶统计,并把权重衰减从梯度更新中解耦。真正容易出错的是参数分组——矩阵权重通常需要衰减,而 bias 与 LayerNorm 参数通常不衰减。本节会完成可检查、无重复参数的优化器配置。
学习目标
- 解释 AdamW 一阶矩、二阶矩和解耦权重衰减各自解决什么问题。
- 按参数形状把矩阵权重与 bias、LayerNorm 参数分到不同组。
- 验证每个可训练参数恰好进入一个优化器参数组。
AdamW 更新了什么
AdamW 会对当前梯度做指数滑动平均。一阶矩追踪梯度方向,二阶矩追踪梯度平方的尺度,再利用二阶矩对不同参数的有效步长做自适应调整。beta1 越大,一阶矩越平滑;beta2 越大,二阶矩对历史尺度的记忆越长。
GPT 训练中常见 betas=(0.9, 0.95)。它让二阶统计比 Adam 常见的 0.999 更快响应变化,但这不是必须遵守的固定值,模型规模、batch size 和学习率变化后仍应通过训练曲线验证。
AdamW 与直接把 L2 正则项加进梯度的关键区别,是把 weight decay 与自适应梯度更新解耦。直观地说,优化器一边按照 Adam 的方向移动参数,一边单独把需要衰减的权重轻微拉向零,因此不会让自适应缩放改变权重衰减本身的含义。
哪些参数应该衰减
在 GPT 中,一个实用规则是:二维及以上的矩阵参数进入 decay 组,一维参数进入 no-decay 组。Embedding、Attention 投影和 MLP 线性层权重都是矩阵,通常需要衰减;bias 与 LayerNorm 的 scale、bias 都是一维,通常不衰减。
| 参数类型 | 典型形状 | weight decay |
|---|---|---|
| Embedding / Linear 权重 | (out, in) |
使用 |
| LayerNorm weight | (C,) |
不使用 |
| bias | (C,) |
不使用 |
这种按 p.dim() 分组的方式不依赖具体模块名字,新增线性层时也能自然覆盖。若模型采用 Token Embedding 与 LM Head 权重绑定,还必须避免同一个 Parameter 被重复加入参数组;named_parameters() 默认会去重,但配置完成后仍值得显式检查。
构造并验证优化器
下面的完整示例创建一个极简 GPT 片段,按参数维度分组,再执行一次反向传播与 optimizer.step()。代码同时断言全部可训练参数只出现一次。
import torch
import torch.nn as nn
class TinyGPT(nn.Module):
def __init__(self, vocab_size=32, n_embd=16):
super().__init__()
self.wte = nn.Embedding(vocab_size, n_embd)
self.ln = nn.LayerNorm(n_embd)
self.mlp = nn.Sequential(
nn.Linear(n_embd, 4 * n_embd),
nn.GELU(),
nn.Linear(4 * n_embd, n_embd),
)
self.lm_head = nn.Linear(n_embd, vocab_size, bias=False)
# nanoGPT 常用权重绑定,输入嵌入与输出投影共享参数。
self.lm_head.weight = self.wte.weight
def forward(self, idx):
x = self.wte(idx)
x = self.ln(x + self.mlp(x))
return self.lm_head(x)
def build_optimizer(model):
params = {
name: p
for name, p in model.named_parameters()
if p.requires_grad
}
decay_names = sorted(
name for name, p in params.items() if p.dim() >= 2
)
no_decay_names = sorted(
name for name, p in params.items() if p.dim() < 2
)
decay = [params[name] for name in decay_names]
no_decay = [params[name] for name in no_decay_names]
# 两组使用同样的 Adam 统计,只在 weight_decay 上不同。
optimizer = torch.optim.AdamW(
[
{'params': decay, 'weight_decay': 0.1},
{'params': no_decay, 'weight_decay': 0.0},
],
lr=3e-4,
betas=(0.9, 0.95),
)
grouped_ids = [
id(p)
for group in optimizer.param_groups
for p in group['params']
]
assert len(grouped_ids) == len(set(grouped_ids)) == len(params)
return optimizer, decay_names, no_decay_names
torch.manual_seed(7)
model = TinyGPT()
optimizer, decay_names, no_decay_names = build_optimizer(model)
idx = torch.randint(0, 32, (2, 4))
loss = model(idx).pow(2).mean()
loss.backward()
optimizer.step()
optimizer.zero_grad(set_to_none=True)
print('decay', decay_names)
print('no_decay', no_decay_names)
print('step_ok', True)预期输出
decay ['mlp.0.weight', 'mlp.2.weight', 'wte.weight']
no_decay ['ln.bias', 'ln.weight', 'mlp.0.bias', 'mlp.2.bias']
step_ok True因为 lm_head.weight 与 wte.weight 指向同一个 Parameter,默认参数遍历只保留一个唯一参数,因此共享权重不会被重复更新。
训练配置里的关键边界
weight_decay 不是越大越好。过大会持续压缩权重,可能使训练损失下降变慢;过小则失去预期的正则效果。学习率、batch size、训练步数和模型规模变化后,都应重新观察训练与验证损失,而不是机械复用某个数值。
zero_grad(set_to_none=True) 会把梯度引用设为 None,通常比逐元素清零减少内存写入。下一次反向传播会重新创建梯度张量;如果其他代码会在反向传播前读取 .grad,就必须正确处理 None。
当分组、去重和一步参数更新都通过验证后,AdamW 才算配置完成。后续训练循环只需要稳定执行 zero_grad -> backward -> step,再把学习率调度和梯度裁剪作为独立机制接入。