大模型原理与训练 / 系统课时

用 AdamW 稳定大规模优化

用 AdamW 稳定大规模优化

Transformer 预训练面对的是高维参数、噪声梯度和漫长训练过程,普通 SGD 往往需要更精细的学习率与动量调节。AdamW 通过一阶动量、二阶矩自适应缩放和解耦权重衰减,把更新方向、步长与正则化分开处理,因此成为大模型训练中常见的优化器选择。

学习目标

  • 解释 Adam 中一阶动量与二阶矩分别解决什么问题。
  • 理解 AdamW 为什么把权重衰减与梯度更新解耦。
  • 能读懂一次 AdamW 参数更新,并知道哪些参数通常不做权重衰减。

Adam 先解决更新尺度不稳定

设第 tt 步梯度为 gtg_t。Adam 用一阶动量累积梯度方向,用二阶矩估计梯度平方的尺度:

mt=beta1mt−1+(1−beta1)gtm_t = beta_1 m_{t-1} + (1-beta_1)g_t
vt=beta2vt−1+(1−beta2)gt2v_t = beta_2 v_{t-1} + (1-beta_2)g_t^2

一阶动量让连续同方向的梯度更稳定,二阶矩则让梯度长期较大的参数自动获得更小的有效步长。训练早期两个估计都从 0 开始,因此还要进行偏差修正,再用学习率更新参数。

AdamW 单步参数更新关系

这种自适应缩放非常适合参数量大、不同层梯度尺度差异明显的 Transformer,但 Adam 本身并不能自动决定正则化方式。

AdamW 把权重衰减独立出来

如果直接把 L2 正则项加到损失函数中,参数梯度会变成“原始梯度加上与参数值成比例的项”。在 SGD 中,它与权重衰减效果接近;但 Adam 会再对这个合成梯度做自适应缩放,因此正则化强度会被二阶矩改变。

AdamW 的关键做法是:先按 Adam 规则计算自适应梯度更新,再直接对参数施加比例衰减。可写成:

thetat+1=thetat−etamhattsqrt(vhatt)+epsilon−etalambdathetattheta_{t+1} = theta_t - eta \frac{m_hat_t}{sqrt(v_hat_t)+epsilon} - eta lambda theta_t

这里 etaeta 是学习率,lambdalambda 是权重衰减系数。最后一项不经过二阶矩缩放,所以“梯度如何更新”和“参数收缩多少”可以分别控制,这就是解耦权重衰减。

手算一次 AdamW 更新

下面用纯 Python 对一个标量参数执行一次 AdamW 更新,便于把公式与数值对应起来。实际训练框架会对张量批量完成相同计算。

python
import math

theta = 2.0
grad = 0.4
m = 0.0
v = 0.0

lr = 0.01
beta1 = 0.9
beta2 = 0.999
eps = 1e-8
weight_decay = 0.1
step = 1

# 更新一阶动量和二阶矩,并做初始阶段的偏差修正。
m = beta1 * m + (1 - beta1) * grad
v = beta2 * v + (1 - beta2) * grad * grad
m_hat = m / (1 - beta1 ** step)
v_hat = v / (1 - beta2 ** step)

adaptive_update = lr * m_hat / (math.sqrt(v_hat) + eps)
decay_update = lr * weight_decay * theta
theta = theta - adaptive_update - decay_update

print(f"adaptive_update={adaptive_update:.6f}")
print(f"decay_update={decay_update:.6f}")
print(f"theta={theta:.6f}")

预期输出

text
adaptive_update=0.010000
decay_update=0.002000
theta=1.988000

这个结果能直接看到两部分更新:梯度经过 Adam 的自适应缩放得到 0.010000,权重衰减独立产生 0.002000 的收缩。二者最后才共同作用到参数上。

大模型训练时怎么配置

常见的 AdamW 超参数包括学习率、beta1、beta2、eps 和 weight_decay。学习率通常还会与 warmup、余弦衰减等调度器配合,因为优化器稳定并不等于训练全程可以使用固定的大步长。

偏置参数和归一化层参数通常不做权重衰减。原因是它们承担的是平移或尺度调节职责,对其持续收缩未必带来同样的正则化收益。工程实现里常把参数分组:矩阵权重使用非零 weight_decay,bias 与 LayerNorm、RMSNorm 的缩放参数设为 0。

AdamW 之所以适合 Transformer,并不是因为它神奇地找到更好最优点,而是因为它把“平滑梯度方向”“按历史尺度调节步长”和“独立约束参数幅度”三个问题分开处理,使大规模训练更容易获得可控、可调的优化行为。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

用 AdamW 稳定大规模优化

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通