机器学习与深度学习 / 系统课时

学习率与调度策略

学习率与调度策略

学习率决定每次参数更新迈多大一步。本课将把固定、分段衰减、余弦退火、预热和按验证指标调整五类策略放进同一训练框架,并说明调用顺序、选型依据与恢复训练时的关键边界。

学习目标

  • 理解学习率过大、过小以及动态调整带来的训练差异
  • 能在 PyTorch 中配置五类常用调度策略
  • 能根据训练轮数、验证指标和模型规模选择合适方案

学习率为什么需要变化

参数更新可以写成 wt+1=wt−ηtgtw_{t+1}=w_t-\eta_t g_t。其中 ηt\eta_t 是当前学习率:过大时损失可能震荡甚至发散,过小时训练稳定但收敛缓慢。训练早期通常需要较快探索,后期则需要更小步长精细收敛,因此学习率常随训练进程变化。

五类学习率策略随训练轮次变化的曲线对比

五类策略怎么选

策略 变化方式 适合场景 主要风险
固定学习率 全程不变 短实验、基线验证 后期可能在最优点附近震荡
分段衰减 到指定轮次乘衰减系数 训练阶段边界明确 阶跃位置需要人工设定
余弦退火 平滑下降到最小学习率 已知总训练轮数 总轮数改变时需重新配置
预热加衰减 先从小值升高,再逐步下降 大批量、Transformer、训练初期不稳定 预热过长会浪费训练预算
基于指标 验证指标停滞后降低 总轮数不确定、验证集可信 指标噪声会导致误降速

固定学习率最适合作为基线;训练计划明确时优先考虑余弦退火;初期容易不稳定时增加预热;只有验证指标能可靠反映泛化能力时,才使用基于指标的策略。

在 PyTorch 中统一实现

下面的完整程序为五类策略创建独立优化器,并记录每个 epoch 实际使用的学习率。示例不训练真实模型,只验证调度行为,便于直接观察策略差异。

python
import math

import torch

TOTAL_EPOCHS = 8
BASE_LR = 0.1

def new_optimizer():
    parameter = torch.nn.Parameter(torch.tensor(0.0))
    return torch.optim.SGD([parameter], lr=BASE_LR)

def warmup_cosine_factor(epoch):
    warmup_epochs = 2
    min_ratio = 0.1

    if epoch < warmup_epochs:
        return (epoch + 1) / warmup_epochs

    progress = (epoch - warmup_epochs + 1) / (TOTAL_EPOCHS - warmup_epochs)
    cosine = 0.5 * (1 + math.cos(math.pi * progress))
    return min_ratio + (1 - min_ratio) * cosine

def sample_epoch_scheduler(kind):
    optimizer = new_optimizer()

    if kind == "fixed":
        scheduler = None
    elif kind == "step":
        scheduler = torch.optim.lr_scheduler.StepLR(
            optimizer, step_size=3, gamma=0.1
        )
    elif kind == "cosine":
        scheduler = torch.optim.lr_scheduler.CosineAnnealingLR(
            optimizer, T_max=TOTAL_EPOCHS, eta_min=0.01
        )
    elif kind == "warmup_cosine":
        scheduler = torch.optim.lr_scheduler.LambdaLR(
            optimizer, lr_lambda=warmup_cosine_factor
        )
    else:
        raise ValueError(f"unsupported strategy: {kind}")

    values = []
    for _ in range(TOTAL_EPOCHS):
        # 当前学习率用于本轮参数更新,轮末再推进调度器。
        values.append(optimizer.param_groups[0]["lr"])
        optimizer.step()
        if scheduler is not None:
            scheduler.step()

    return values

def sample_plateau_scheduler():
    metrics = [1.00, 0.90, 0.91, 0.92, 0.80, 0.81, 0.82, 0.83]
    optimizer = new_optimizer()
    scheduler = torch.optim.lr_scheduler.ReduceLROnPlateau(
        optimizer, mode="min", factor=0.5, patience=1, threshold=0.0
    )

    values = []
    for metric in metrics:
        values.append(optimizer.param_groups[0]["lr"])
        optimizer.step()
        # 该调度器必须接收本轮验证指标。
        scheduler.step(metric)

    return values

for name in ["fixed", "step", "cosine", "warmup_cosine"]:
    values = sample_epoch_scheduler(name)
    print(f"{name:13s}: " + " ".join(f"{value:.4f}" for value in values))

plateau_values = sample_plateau_scheduler()
print(f"{'plateau':13s}: " + " ".join(f"{value:.4f}" for value in plateau_values))

预期输出

text
fixed        : 0.1000 0.1000 0.1000 0.1000 0.1000 0.1000 0.1000 0.1000
step         : 0.1000 0.1000 0.1000 0.0100 0.0100 0.0100 0.0010 0.0010
cosine       : 0.1000 0.0966 0.0868 0.0722 0.0550 0.0378 0.0232 0.0134
warmup_cosine: 0.0500 0.1000 0.0940 0.0775 0.0550 0.0325 0.0160 0.0100
plateau      : 0.1000 0.1000 0.1000 0.1000 0.0500 0.0500 0.0500 0.0250

输出表明,分段策略在固定轮次发生阶跃,余弦策略连续下降,预热策略先升后降,而平台期策略只在验证指标连续未改善时调整。

调用顺序与训练边界

按 epoch 调度时,通常先执行 optimizer.step(),再执行 scheduler.step(),这样当前轮使用的是进入该轮时的学习率。ReduceLROnPlateau 不同,它应在验证结束后调用 scheduler.step(val_loss),不能无参数执行。

恢复训练时必须同时保存并恢复模型、优化器和调度器的 state_dict。如果只恢复模型参数,学习率可能从初始阶段重新开始,导致训练曲线突然跳变。按 batch 调度的策略还要以总更新步数而不是 epoch 数计算进度。

本课总结

  • 学习率策略的目标是兼顾前期探索速度与后期收敛精度
  • 固定、分段、余弦、预热和按指标调度分别适合不同训练约束
  • 调度器的调用时机与状态恢复会直接影响实际学习率轨迹

下一课预告

下一课将处理梯度爆炸、NaN 和异常更新,学习在优化器执行前检查梯度、裁剪范数并定位产生异常的算子。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

学习率与调度策略

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通