大模型原理与训练 / 系统课时

配置 AdamW 参数更新

配置 AdamW 参数更新

AdamW 不只是把 Adam 换个名字:它同时维护梯度的一阶、二阶统计,并把权重衰减从梯度更新中解耦。真正容易出错的是参数分组——矩阵权重通常需要衰减,而 bias 与 LayerNorm 参数通常不衰减。本节会完成可检查、无重复参数的优化器配置。

学习目标

  • 解释 AdamW 一阶矩、二阶矩和解耦权重衰减各自解决什么问题。
  • 按参数形状把矩阵权重与 bias、LayerNorm 参数分到不同组。
  • 验证每个可训练参数恰好进入一个优化器参数组。

AdamW 更新了什么

AdamW 会对当前梯度做指数滑动平均。一阶矩追踪梯度方向,二阶矩追踪梯度平方的尺度,再利用二阶矩对不同参数的有效步长做自适应调整。beta1 越大,一阶矩越平滑;beta2 越大,二阶矩对历史尺度的记忆越长。

GPT 训练中常见 betas=(0.9, 0.95)。它让二阶统计比 Adam 常见的 0.999 更快响应变化,但这不是必须遵守的固定值,模型规模、batch size 和学习率变化后仍应通过训练曲线验证。

AdamW 与直接把 L2 正则项加进梯度的关键区别,是把 weight decay 与自适应梯度更新解耦。直观地说,优化器一边按照 Adam 的方向移动参数,一边单独把需要衰减的权重轻微拉向零,因此不会让自适应缩放改变权重衰减本身的含义。

哪些参数应该衰减

在 GPT 中,一个实用规则是:二维及以上的矩阵参数进入 decay 组,一维参数进入 no-decay 组。Embedding、Attention 投影和 MLP 线性层权重都是矩阵,通常需要衰减;bias 与 LayerNorm 的 scale、bias 都是一维,通常不衰减。

参数类型 典型形状 weight decay
Embedding / Linear 权重 (out, in) 使用
LayerNorm weight (C,) 不使用
bias (C,) 不使用

这种按 p.dim() 分组的方式不依赖具体模块名字,新增线性层时也能自然覆盖。若模型采用 Token Embedding 与 LM Head 权重绑定,还必须避免同一个 Parameter 被重复加入参数组;named_parameters() 默认会去重,但配置完成后仍值得显式检查。

构造并验证优化器

下面的完整示例创建一个极简 GPT 片段,按参数维度分组,再执行一次反向传播与 optimizer.step()。代码同时断言全部可训练参数只出现一次。

python
import torch
import torch.nn as nn

class TinyGPT(nn.Module):
    def __init__(self, vocab_size=32, n_embd=16):
        super().__init__()
        self.wte = nn.Embedding(vocab_size, n_embd)
        self.ln = nn.LayerNorm(n_embd)
        self.mlp = nn.Sequential(
            nn.Linear(n_embd, 4 * n_embd),
            nn.GELU(),
            nn.Linear(4 * n_embd, n_embd),
        )
        self.lm_head = nn.Linear(n_embd, vocab_size, bias=False)

        # nanoGPT 常用权重绑定,输入嵌入与输出投影共享参数。
        self.lm_head.weight = self.wte.weight

    def forward(self, idx):
        x = self.wte(idx)
        x = self.ln(x + self.mlp(x))
        return self.lm_head(x)

def build_optimizer(model):
    params = {
        name: p
        for name, p in model.named_parameters()
        if p.requires_grad
    }
    decay_names = sorted(
        name for name, p in params.items() if p.dim() >= 2
    )
    no_decay_names = sorted(
        name for name, p in params.items() if p.dim() < 2
    )

    decay = [params[name] for name in decay_names]
    no_decay = [params[name] for name in no_decay_names]

    # 两组使用同样的 Adam 统计,只在 weight_decay 上不同。
    optimizer = torch.optim.AdamW(
        [
            {'params': decay, 'weight_decay': 0.1},
            {'params': no_decay, 'weight_decay': 0.0},
        ],
        lr=3e-4,
        betas=(0.9, 0.95),
    )

    grouped_ids = [
        id(p)
        for group in optimizer.param_groups
        for p in group['params']
    ]
    assert len(grouped_ids) == len(set(grouped_ids)) == len(params)
    return optimizer, decay_names, no_decay_names

torch.manual_seed(7)
model = TinyGPT()
optimizer, decay_names, no_decay_names = build_optimizer(model)

idx = torch.randint(0, 32, (2, 4))
loss = model(idx).pow(2).mean()
loss.backward()
optimizer.step()
optimizer.zero_grad(set_to_none=True)

print('decay', decay_names)
print('no_decay', no_decay_names)
print('step_ok', True)

预期输出

text
decay ['mlp.0.weight', 'mlp.2.weight', 'wte.weight']
no_decay ['ln.bias', 'ln.weight', 'mlp.0.bias', 'mlp.2.bias']
step_ok True

因为 lm_head.weight 与 wte.weight 指向同一个 Parameter,默认参数遍历只保留一个唯一参数,因此共享权重不会被重复更新。

训练配置里的关键边界

weight_decay 不是越大越好。过大会持续压缩权重,可能使训练损失下降变慢;过小则失去预期的正则效果。学习率、batch size、训练步数和模型规模变化后,都应重新观察训练与验证损失,而不是机械复用某个数值。

zero_grad(set_to_none=True) 会把梯度引用设为 None,通常比逐元素清零减少内存写入。下一次反向传播会重新创建梯度张量;如果其他代码会在反向传播前读取 .grad,就必须正确处理 None。

当分组、去重和一步参数更新都通过验证后,AdamW 才算配置完成。后续训练循环只需要稳定执行 zero_grad -> backward -> step,再把学习率调度和梯度裁剪作为独立机制接入。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

配置 AdamW 参数更新

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通