计算机视觉 / 系统课时

断点恢复训练

断点恢复训练

训练被断电、终止或显存异常打断后,不必从第 1 轮重新开始。本课将使用 YOLOv5 的 last.pt 恢复模型、优化器和训练轮数,并通过日志确认训练确实从中断位置继续。

学习目标

  • 说明断点文件中需要恢复的关键状态
  • 使用 --resume 从指定检查点继续训练
  • 判断恢复是否成功并处理常见失败

断点文件保存了什么

YOLOv5 训练目录中的 last.pt 面向“继续训练”,通常保存最近一轮的模型权重、优化器状态、已完成轮数以及指数移动平均模型等信息。恢复这些状态后,参数更新和学习率调度可以延续,而不是重新初始化。

best.pt 对应验证指标最优的轮次,不一定是训练中断前的最近轮次。即使它仍保留完整训练状态,恢复后也可能回退若干轮;若文件已经被精简并移除优化器状态,则只能作为权重重新训练。因此应优先使用同一次实验产生的 last.pt。

YOLOv5 断点恢复流程

从指定检查点恢复

先确认终端位于 YOLOv5 项目根目录,并且原训练目录中的检查点与配置文件仍然存在。随后把 last.pt 的路径传给 --resume:

bash
python train.py --resume runs/train/exp/weights/last.pt

预期结果(不同版本的日志措辞可能不同)

text
恢复成功:从第 <EPOCH> 轮继续训练,目标总轮数为 <TOTAL_EPOCHS>。

<EPOCH> 和 <TOTAL_EPOCHS> 会随中断位置及原始训练配置变化。恢复时不要同时更换模型结构、数据集类别数或关键训练配置,否则检查点中的参数形状和当前任务可能无法对应。

验证与失败处理

首先检查启动后的轮数。假设中断前已经完成第 37 轮,恢复后应从后续轮次继续,而不是重新显示第 0 轮。再检查原实验目录中日志、曲线和权重文件的更新时间,确认新结果持续写入。

还要观察学习率是否延续。若轮数重新开始,或学习率回到初始状态,通常说明当前操作只是加载权重,没有完整恢复优化器与调度状态。

出现权重维度不匹配时,应切回生成检查点时使用的模型配置、类别数量和兼容代码版本。出现文件无法读取时,先确认文件大小和路径,再尝试同目录中的备用检查点;若只剩已精简的权重文件,应将其作为预训练权重重新启动,而不是宣称完整续跑。

本课总结

  • 完整断点恢复应延续模型、优化器、轮数和训练相关状态
  • last.pt 对应最近进度,通常比 best.pt 更适合续跑
  • 是否恢复成功,应通过起始轮数、学习率和输出目录共同验证

下一课预告

下一课将进入模型评估,理解精确率和召回率如何分别揭示误检与漏检问题。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

断点恢复训练

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通