大模型原理与训练 / 系统课时
用 AdamW 稳定大规模优化
用 AdamW 稳定大规模优化
Transformer 预训练面对的是高维参数、噪声梯度和漫长训练过程,普通 SGD 往往需要更精细的学习率与动量调节。AdamW 通过一阶动量、二阶矩自适应缩放和解耦权重衰减,把更新方向、步长与正则化分开处理,因此成为大模型训练中常见的优化器选择。
学习目标
- 解释 Adam 中一阶动量与二阶矩分别解决什么问题。
- 理解 AdamW 为什么把权重衰减与梯度更新解耦。
- 能读懂一次 AdamW 参数更新,并知道哪些参数通常不做权重衰减。
Adam 先解决更新尺度不稳定
设第 步梯度为 。Adam 用一阶动量累积梯度方向,用二阶矩估计梯度平方的尺度:
一阶动量让连续同方向的梯度更稳定,二阶矩则让梯度长期较大的参数自动获得更小的有效步长。训练早期两个估计都从 0 开始,因此还要进行偏差修正,再用学习率更新参数。

这种自适应缩放非常适合参数量大、不同层梯度尺度差异明显的 Transformer,但 Adam 本身并不能自动决定正则化方式。
AdamW 把权重衰减独立出来
如果直接把 L2 正则项加到损失函数中,参数梯度会变成“原始梯度加上与参数值成比例的项”。在 SGD 中,它与权重衰减效果接近;但 Adam 会再对这个合成梯度做自适应缩放,因此正则化强度会被二阶矩改变。
AdamW 的关键做法是:先按 Adam 规则计算自适应梯度更新,再直接对参数施加比例衰减。可写成:
这里 是学习率, 是权重衰减系数。最后一项不经过二阶矩缩放,所以“梯度如何更新”和“参数收缩多少”可以分别控制,这就是解耦权重衰减。
手算一次 AdamW 更新
下面用纯 Python 对一个标量参数执行一次 AdamW 更新,便于把公式与数值对应起来。实际训练框架会对张量批量完成相同计算。
import math
theta = 2.0
grad = 0.4
m = 0.0
v = 0.0
lr = 0.01
beta1 = 0.9
beta2 = 0.999
eps = 1e-8
weight_decay = 0.1
step = 1
# 更新一阶动量和二阶矩,并做初始阶段的偏差修正。
m = beta1 * m + (1 - beta1) * grad
v = beta2 * v + (1 - beta2) * grad * grad
m_hat = m / (1 - beta1 ** step)
v_hat = v / (1 - beta2 ** step)
adaptive_update = lr * m_hat / (math.sqrt(v_hat) + eps)
decay_update = lr * weight_decay * theta
theta = theta - adaptive_update - decay_update
print(f"adaptive_update={adaptive_update:.6f}")
print(f"decay_update={decay_update:.6f}")
print(f"theta={theta:.6f}")预期输出
adaptive_update=0.010000
decay_update=0.002000
theta=1.988000这个结果能直接看到两部分更新:梯度经过 Adam 的自适应缩放得到 0.010000,权重衰减独立产生 0.002000 的收缩。二者最后才共同作用到参数上。
大模型训练时怎么配置
常见的 AdamW 超参数包括学习率、beta1、beta2、eps 和 weight_decay。学习率通常还会与 warmup、余弦衰减等调度器配合,因为优化器稳定并不等于训练全程可以使用固定的大步长。
偏置参数和归一化层参数通常不做权重衰减。原因是它们承担的是平移或尺度调节职责,对其持续收缩未必带来同样的正则化收益。工程实现里常把参数分组:矩阵权重使用非零 weight_decay,bias 与 LayerNorm、RMSNorm 的缩放参数设为 0。
AdamW 之所以适合 Transformer,并不是因为它神奇地找到更好最优点,而是因为它把“平滑梯度方向”“按历史尺度调节步长”和“独立约束参数幅度”三个问题分开处理,使大规模训练更容易获得可控、可调的优化行为。