计算机视觉 / 系统课时
断点恢复训练
断点恢复训练
训练被断电、终止或显存异常打断后,不必从第 1 轮重新开始。本课将使用 YOLOv5 的 last.pt 恢复模型、优化器和训练轮数,并通过日志确认训练确实从中断位置继续。
学习目标
- 说明断点文件中需要恢复的关键状态
- 使用
--resume从指定检查点继续训练 - 判断恢复是否成功并处理常见失败
断点文件保存了什么
YOLOv5 训练目录中的 last.pt 面向“继续训练”,通常保存最近一轮的模型权重、优化器状态、已完成轮数以及指数移动平均模型等信息。恢复这些状态后,参数更新和学习率调度可以延续,而不是重新初始化。
best.pt 对应验证指标最优的轮次,不一定是训练中断前的最近轮次。即使它仍保留完整训练状态,恢复后也可能回退若干轮;若文件已经被精简并移除优化器状态,则只能作为权重重新训练。因此应优先使用同一次实验产生的 last.pt。

从指定检查点恢复
先确认终端位于 YOLOv5 项目根目录,并且原训练目录中的检查点与配置文件仍然存在。随后把 last.pt 的路径传给 --resume:
python train.py --resume runs/train/exp/weights/last.pt预期结果(不同版本的日志措辞可能不同)
恢复成功:从第 <EPOCH> 轮继续训练,目标总轮数为 <TOTAL_EPOCHS>。<EPOCH> 和 <TOTAL_EPOCHS> 会随中断位置及原始训练配置变化。恢复时不要同时更换模型结构、数据集类别数或关键训练配置,否则检查点中的参数形状和当前任务可能无法对应。
验证与失败处理
首先检查启动后的轮数。假设中断前已经完成第 37 轮,恢复后应从后续轮次继续,而不是重新显示第 0 轮。再检查原实验目录中日志、曲线和权重文件的更新时间,确认新结果持续写入。
还要观察学习率是否延续。若轮数重新开始,或学习率回到初始状态,通常说明当前操作只是加载权重,没有完整恢复优化器与调度状态。
出现权重维度不匹配时,应切回生成检查点时使用的模型配置、类别数量和兼容代码版本。出现文件无法读取时,先确认文件大小和路径,再尝试同目录中的备用检查点;若只剩已精简的权重文件,应将其作为预训练权重重新启动,而不是宣称完整续跑。
本课总结
- 完整断点恢复应延续模型、优化器、轮数和训练相关状态
last.pt对应最近进度,通常比best.pt更适合续跑- 是否恢复成功,应通过起始轮数、学习率和输出目录共同验证
下一课预告
下一课将进入模型评估,理解精确率和召回率如何分别揭示误检与漏检问题。