大模型原理与训练 / 系统课时

AdamW 优化器

AdamW 优化器

AdamW 在 Adam 的自适应梯度更新之外,单独执行权重衰减,从而避免 L2 正则项被逐参数缩放。本课将拆解更新公式、参数职责和 Transformer 中常见的衰减分组,并用可运行代码观察一次完整更新。

学习目标

  • 说明 AdamW 与“Adam 加 L2 正则”并不等价的原因
  • 读懂一阶矩、二阶矩、偏差修正和权重衰减的更新顺序
  • 为学习率、权重衰减及参数分组建立可验证的配置方法

AdamW 解决了什么问题

Adam 会根据历史梯度为每个参数计算不同的自适应步长。若直接把 L2 正则项的梯度 λθ\lambda\theta 加入原梯度,它也会经过动量累计和二阶矩缩放,因此实际收缩强度会随参数状态变化。

AdamW 将权重衰减从梯度中解耦:一条路径处理任务梯度,另一条路径直接按当前参数值收缩权重。这样 weight_decay 更接近“每一步收缩多少”的独立超参数,也更容易与学习率共同调节。

参数更新过程

给定当前梯度 gtg_t,AdamW 先更新一阶矩和二阶矩:

mt=β1mt−1+(1−β1)gtm_t=\beta_1m_{t-1}+(1-\beta_1)g_t
vt=β2vt−1+(1−β2)gt2v_t=\beta_2v_{t-1}+(1-\beta_2)g_t^2

完成偏差修正后,参数更新可写为:

θt=(1−ηλ)θt−1−ηm^tv^t+ϵ\theta_t=(1-\eta\lambda)\theta_{t-1}-\eta\frac{\hat m_t}{\sqrt{\hat v_t}+\epsilon}

其中 η\eta 是学习率,λ\lambda 是权重衰减系数。公式中的两项分别表示直接衰减和自适应梯度更新;实现时通常先衰减参数,再应用 Adam 步长。

主示例:执行一维 AdamW 更新

下面固定梯度为 0.2,连续执行三步更新。示例显式展示状态变量,便于核对公式与代码的对应关系。

python
import math


def adamw_step(param, grad, first_moment, second_moment, step,
               learning_rate=0.1, beta1=0.9, beta2=0.999,
               epsilon=1e-8, weight_decay=0.01):
    first_moment = beta1 * first_moment + (1.0 - beta1) * grad
    second_moment = beta2 * second_moment + (1.0 - beta2) * grad * grad

    # 偏差修正用于抵消矩估计在训练初期偏向 0 的影响
    corrected_first = first_moment / (1.0 - beta1 ** step)
    corrected_second = second_moment / (1.0 - beta2 ** step)

    decayed_param = param * (1.0 - learning_rate * weight_decay)
    updated_param = decayed_param - (
        learning_rate * corrected_first
        / (math.sqrt(corrected_second) + epsilon)
    )
    return updated_param, first_moment, second_moment


param = 1.0
first_moment = 0.0
second_moment = 0.0

for step in range(1, 4):
    param, first_moment, second_moment = adamw_step(
        param=param,
        grad=0.2,
        first_moment=first_moment,
        second_moment=second_moment,
        step=step,
    )
    print(f"step={step}, param={param:.6f}")

预期输出:

text
step=1, param=0.899000
step=2, param=0.798101
step=3, param=0.697303

每一步都同时包含约 0.1 的自适应梯度更新和按当前参数值计算的衰减。实际训练中的梯度会变化,因此输出数值也会随模型、批次和随机种子变化。

关键参数如何配置

学习率决定任务梯度和权重衰减两部分的整体步幅,通常应先配合预热与学习率调度确定量级。weight_decay 可从 0.01 作为实验起点,但应通过验证集比较,不能把更大的衰减简单理解为更强泛化。

beta1 控制一阶矩的平滑程度,beta2 控制二阶矩的历史窗口;默认值通常适合作为起点。epsilon 主要用于数值稳定,一般不应在没有溢出、下溢或精度问题时随意放大。

Transformer 训练中通常只对矩阵权重执行衰减,而把偏置参数和 LayerNorm 的缩放、平移参数放入 weight_decay=0 的参数组。原因是这些参数不承担同样的权重规模约束,统一衰减可能损害优化效果。

配置检查与常见错误

  • 确认优化器确实是 AdamW,而不是 Adam 接收了一个同名但语义不同的参数
  • 检查参数分组是否重复或遗漏;同一个参数不能同时出现在衰减组和非衰减组
  • 学习率改变时重新验证权重衰减,因为实际每步收缩比例由 ηλ\eta\lambda 共同决定
  • 恢复训练时同时加载优化器状态,否则一阶矩、二阶矩和步数会被重置

本课总结

  • AdamW 把权重衰减与 Adam 的自适应梯度路径解耦,使衰减含义更清晰
  • 更新结果由学习率、矩估计、偏差修正和权重衰减共同决定
  • Transformer 中应重点检查偏置与 LayerNorm 参数是否被排除在衰减组之外

下一课预告

下一课将继续学习学习率预热与衰减策略,理解优化器参数更新为什么需要随训练阶段动态调整。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

AdamW 优化器

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通