计算机视觉 / 系统课时

调整学习率策略

调整学习率策略

学习率决定模型每次更新参数时迈多大一步:过高容易震荡甚至发散,过低则收敛缓慢。本节用一组可复现的 YOLO 训练参数说明初始学习率、预热与衰减如何配合,并给出根据训练曲线调整的顺序。

学习目标

  • 说明 lr0、warmup_epochs、lrf 的作用和相互关系
  • 配置余弦学习率衰减并验证训练是否按预期启动
  • 根据损失和验证指标判断学习率过高或过低

理解三段学习率过程

以 Ultralytics YOLO 为例,lr0 是正常训练阶段使用的基准初始学习率,warmup_epochs 控制前若干轮的预热,lrf 表示训练末期相对 lr0 的倍率。若 lr0=0.01、lrf=0.01,末期目标学习率约为 0.0001。

预热阶段会从较保守的更新幅度逐步过渡到正常学习率,目的是减少训练刚开始时的大幅参数跳动。进入正常阶段后,再通过线性或余弦方式逐步降低学习率,使后期更新更细。

YOLO 学习率的预热与衰减过程

固定优化器做一次基线训练

为了让 lr0 的意义稳定,示例显式指定 SGD,避免某些版本在自动选择优化器时改变学习率设置。把 <PATH> 替换为自己的数据集配置路径。

bash
# 固定优化器和学习率策略,便于后续只比较一个变量
yolo detect train model=yolo11n.pt data=<PATH>/data.yaml epochs=100 optimizer=SGD lr0=0.01 lrf=0.01 warmup_epochs=3 cos_lr=True imgsz=640 batch=16 device=0

预期结果:

text
训练任务成功启动。
前 3 个 epoch 执行 warmup,之后进入余弦学习率衰减。
初始基准学习率:0.01
训练末期目标学习率约:0.0001
训练结果目录:<PATH>

实际日志格式、耗时和输出路径会随版本与环境变化,验证重点是训练参数被接受、训练能够持续进行,并能在结果目录中查看损失和验证指标曲线。

根据训练现象决定调整方向

学习率过高时,常见现象是训练损失剧烈波动、验证指标忽高忽低,严重时出现 nan。此时先把 lr0 降低 2~10 倍,例如从 0.01 改为 0.005 或 0.001,不要同时修改批次、图像尺寸和增强策略。

学习率过低时,训练往往很稳定,但损失下降慢,很多 epoch 后指标仍缓慢改善。此时可以小幅提高 lr0,或者在总 epoch 不变时缩短过长的预热阶段。

保持单变量调参

如果只有前几轮不稳定、后面正常,优先调整 warmup_epochs;如果整个训练过程都明显震荡,优先降低 lr0;如果前期收敛正常但后期仍反复波动,可以减小 lrf,让末期学习率更低。

每次实验固定模型、数据划分、batch、imgsz 和增强策略,只改一个学习率主变量,并比较最终 mAP、最佳 epoch、收敛速度和损失曲线。目标不是让曲线看起来最平滑,而是在相同训练预算下得到稳定且更高的验证性能。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

调整学习率策略

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通