大模型原理与训练 / 系统课时
AdamW 优化器
AdamW 优化器
AdamW 在 Adam 的自适应梯度更新之外,单独执行权重衰减,从而避免 L2 正则项被逐参数缩放。本课将拆解更新公式、参数职责和 Transformer 中常见的衰减分组,并用可运行代码观察一次完整更新。
学习目标
- 说明 AdamW 与“Adam 加 L2 正则”并不等价的原因
- 读懂一阶矩、二阶矩、偏差修正和权重衰减的更新顺序
- 为学习率、权重衰减及参数分组建立可验证的配置方法
AdamW 解决了什么问题
Adam 会根据历史梯度为每个参数计算不同的自适应步长。若直接把 L2 正则项的梯度 加入原梯度,它也会经过动量累计和二阶矩缩放,因此实际收缩强度会随参数状态变化。
AdamW 将权重衰减从梯度中解耦:一条路径处理任务梯度,另一条路径直接按当前参数值收缩权重。这样 weight_decay 更接近“每一步收缩多少”的独立超参数,也更容易与学习率共同调节。
参数更新过程
给定当前梯度 ,AdamW 先更新一阶矩和二阶矩:
完成偏差修正后,参数更新可写为:
其中 是学习率, 是权重衰减系数。公式中的两项分别表示直接衰减和自适应梯度更新;实现时通常先衰减参数,再应用 Adam 步长。
主示例:执行一维 AdamW 更新
下面固定梯度为 0.2,连续执行三步更新。示例显式展示状态变量,便于核对公式与代码的对应关系。
import math
def adamw_step(param, grad, first_moment, second_moment, step,
learning_rate=0.1, beta1=0.9, beta2=0.999,
epsilon=1e-8, weight_decay=0.01):
first_moment = beta1 * first_moment + (1.0 - beta1) * grad
second_moment = beta2 * second_moment + (1.0 - beta2) * grad * grad
# 偏差修正用于抵消矩估计在训练初期偏向 0 的影响
corrected_first = first_moment / (1.0 - beta1 ** step)
corrected_second = second_moment / (1.0 - beta2 ** step)
decayed_param = param * (1.0 - learning_rate * weight_decay)
updated_param = decayed_param - (
learning_rate * corrected_first
/ (math.sqrt(corrected_second) + epsilon)
)
return updated_param, first_moment, second_moment
param = 1.0
first_moment = 0.0
second_moment = 0.0
for step in range(1, 4):
param, first_moment, second_moment = adamw_step(
param=param,
grad=0.2,
first_moment=first_moment,
second_moment=second_moment,
step=step,
)
print(f"step={step}, param={param:.6f}")预期输出:
step=1, param=0.899000
step=2, param=0.798101
step=3, param=0.697303每一步都同时包含约 0.1 的自适应梯度更新和按当前参数值计算的衰减。实际训练中的梯度会变化,因此输出数值也会随模型、批次和随机种子变化。
关键参数如何配置
学习率决定任务梯度和权重衰减两部分的整体步幅,通常应先配合预热与学习率调度确定量级。weight_decay 可从 0.01 作为实验起点,但应通过验证集比较,不能把更大的衰减简单理解为更强泛化。
beta1 控制一阶矩的平滑程度,beta2 控制二阶矩的历史窗口;默认值通常适合作为起点。epsilon 主要用于数值稳定,一般不应在没有溢出、下溢或精度问题时随意放大。
Transformer 训练中通常只对矩阵权重执行衰减,而把偏置参数和 LayerNorm 的缩放、平移参数放入 weight_decay=0 的参数组。原因是这些参数不承担同样的权重规模约束,统一衰减可能损害优化效果。
配置检查与常见错误
- 确认优化器确实是 AdamW,而不是 Adam 接收了一个同名但语义不同的参数
- 检查参数分组是否重复或遗漏;同一个参数不能同时出现在衰减组和非衰减组
- 学习率改变时重新验证权重衰减,因为实际每步收缩比例由 共同决定
- 恢复训练时同时加载优化器状态,否则一阶矩、二阶矩和步数会被重置
本课总结
- AdamW 把权重衰减与 Adam 的自适应梯度路径解耦,使衰减含义更清晰
- 更新结果由学习率、矩估计、偏差修正和权重衰减共同决定
- Transformer 中应重点检查偏置与 LayerNorm 参数是否被排除在衰减组之外
下一课预告
下一课将继续学习学习率预热与衰减策略,理解优化器参数更新为什么需要随训练阶段动态调整。