大模型原理与训练 / 系统课时

学习率预热与衰减

学习率预热与衰减

Transformer 对训练初期的学习率非常敏感。本课用一条完整调度曲线说明预热、线性衰减与余弦衰减各自解决什么问题,并给出可直接运行的计算示例,帮助你为实际训练选择参数并验证调度是否按预期生效。

学习目标

  • 解释学习率预热为何能降低训练初期的不稳定性
  • 区分线性衰减与余弦衰减的变化方式和适用场景
  • 编写并验证一条包含预热阶段的学习率调度曲线

为什么训练初期需要预热

Transformer 刚开始训练时,参数尚未形成稳定表示,梯度尺度也可能快速波动。若一开始就使用峰值学习率,单次更新可能过大,造成损失突然升高、梯度溢出,甚至训练直接发散。

预热的做法是让学习率从较小值逐步升到峰值。在线性预热中,第 tt 步的学习率可写成 lrt=lrmax×t/Twlr_t = lr_{max} \times t / T_w,其中 TwT_w 是预热步数。预热结束后再进入衰减阶段,使模型先稳定起步,再逐渐减小更新幅度。

预热与两种衰减曲线对比

线性衰减与余弦衰减

线性衰减让学习率按固定速度下降,行为直观,常用于总训练步数明确的微调任务。它在训练末尾会接近零,因此后期参数更新非常小。

余弦衰减按半个余弦周期平滑下降,前期下降较慢,后期逐渐收敛到设定的最小学习率。它适合希望中后期仍保留一定探索空间的训练,也常与较长训练周期配合。

两者没有绝对优劣。固定训练预算、强调简单可控时优先线性衰减;训练周期较长、希望变化更平滑时可选择余弦衰减。关键是把预热步数、总步数和峰值学习率按同一训练计划计算。

可运行示例

下面的 Python 程序计算同一组训练步数下的线性衰减和余弦衰减。示例不依赖深度学习框架,可先用它检查曲线数值,再迁移到训练代码中。

python
import math

BASE_LR = 1e-3
MIN_LR = 1e-5
WARMUP_STEPS = 100
TOTAL_STEPS = 1000

def warmup_lr(step: int) -> float:
    # 预热阶段从 0 线性增长到峰值学习率
    return BASE_LR * step / WARMUP_STEPS

def linear_lr(step: int) -> float:
    if step <= WARMUP_STEPS:
        return warmup_lr(step)
    progress = (step - WARMUP_STEPS) / (TOTAL_STEPS - WARMUP_STEPS)
    return BASE_LR * max(0.0, 1.0 - progress)

def cosine_lr(step: int) -> float:
    if step <= WARMUP_STEPS:
        return warmup_lr(step)
    progress = (step - WARMUP_STEPS) / (TOTAL_STEPS - WARMUP_STEPS)
    # 余弦衰减最终停在 MIN_LR,而不是降到 0
    cosine_factor = 0.5 * (1.0 + math.cos(math.pi * progress))
    return MIN_LR + (BASE_LR - MIN_LR) * cosine_factor

for step in (0, 50, 100, 500, 1000):
    print(
        f"step={step:4d} "
        f"linear={linear_lr(step):.8f} "
        f"cosine={cosine_lr(step):.8f}"
    )

预期输出

text
step=   0 linear=0.00000000 cosine=0.00000000
step=  50 linear=0.00050000 cosine=0.00050000
step= 100 linear=0.00100000 cosine=0.00100000
step= 500 linear=0.00055556 cosine=0.00059096
step=1000 linear=0.00000000 cosine=0.00001000

输出表明两条曲线在预热阶段完全一致;进入衰减阶段后,余弦曲线下降更平滑,并在最后保留 MIN_LR。

如何选择并验证参数

预热步数通常按总训练步数的比例设置,但不能只机械套用固定百分比。批次变大、峰值学习率提高或模型更深时,可适当延长预热;小规模微调则常使用更短预热。

接入训练框架后,应记录每个优化器更新对应的学习率,并至少检查三个位置:第一个更新步、预热结束步和最后一步。若使用梯度累积,调度器应按“优化器实际更新次数”推进,而不是按每个微批次推进。

常见错误包括把总样本数误当作总更新步数、预热结束后学习率出现跳变,以及余弦衰减未设置最小学习率。出现损失在训练早期剧烈震荡时,应同时检查峰值学习率、预热长度和梯度范数,不能只增加预热步数。

本课总结

  • 预热通过限制训练初期的更新幅度,降低损失突增和发散风险
  • 线性衰减简单直接,余弦衰减变化更平滑并可保留最小学习率
  • 调度器必须按真实优化器更新步数计算,并通过日志核对关键节点

下一课预告

下一课将处理另一类训练稳定性问题:使用梯度裁剪限制异常梯度,并通过梯度累积在显存有限时模拟更大的有效批次。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

学习率预热与衰减

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通