计算机视觉 / 系统课时
保存与恢复训练
保存与恢复训练
长时间训练最怕中断后从头开始,也容易把 best.pt 与 last.pt 用反。本课将建立可复现的实验目录,说明两类权重的职责,演示用检查点恢复优化器、学习率调度器和 epoch 状态,并完成恢复后的验收。
学习目标
- 区分最佳权重、最后权重和中间检查点
- 使用
last.pt从中断位置继续训练 - 保存实验参数、环境信息和训练产物以便复现
先区分 best.pt 与 last.pt
一次检测训练通常会在运行目录中保存参数、指标、图表和权重。实际目录名可能是 train、train2 或自定义名称,下面用 <PATH>/runs/detect/exp-001 表示本次实验目录。
<PATH>/runs/detect/exp-001/
├── args.yaml
├── results.csv
├── results.png
└── weights/
├── best.pt
└── last.pt| 文件 | 保存时机与内容 | 首选用途 |
|---|---|---|
best.pt |
验证综合表现达到当前最佳时更新 | 验证、推理、导出和部署 |
last.pt |
保存最近完成的训练轮次 | 中断恢复和继续原实验 |
args.yaml |
记录本次训练参数 | 检查 batch、imgsz、epochs、设备等设置 |
results.csv |
逐 epoch 保存损失和指标 | 查找最佳轮次并比较实验 |
恢复训练时,Ultralytics 会从检查点恢复模型权重、优化器状态、学习率调度器和 epoch 编号,因此应优先使用中断实验的 last.pt。:contentReference[oaicite:2]{index=2}

从 last.pt 继续训练
将下面代码保存为 resume_train.py。CHECKPOINT 必须指向原实验的 last.pt,不要改成初始预训练权重。
from pathlib import Path
from ultralytics import YOLO
CHECKPOINT = Path("<PATH>/runs/detect/exp-001/weights/last.pt")
def main() -> None:
if not CHECKPOINT.is_file():
raise SystemExit(f"检查点不存在: {CHECKPOINT}")
# resume=True 会沿用检查点中的训练状态,而不是开启全新实验
model = YOLO(str(CHECKPOINT))
model.train(resume=True)
if __name__ == "__main__":
main()运行命令:
python resume_train.py预期结果:
<TRAINING_LOG>
训练从检查点记录的下一个 epoch 继续,而不是从 epoch 1 重新开始。实际日志中的版本号、设备、epoch 和保存路径会不同。恢复成功后,应确认首个 epoch 编号承接中断位置,并观察输出仍写入对应实验目录。官方训练接口使用 YOLO("<PATH>/last.pt").train(resume=True) 恢复最近状态。:contentReference[oaicite:3]{index=3}
已经完整训练到设定 epochs 后,若还想追加训练轮数,不应把它理解为“恢复中断”。更稳妥的做法是以 best.pt 或 last.pt 作为新实验的初始权重,明确设置新的 epochs、project 和 name;这会创建新的训练过程,优化器与轮次语义也与原实验恢复不同。
保存实验并完成验收
只保留权重不足以复现实验。至少应一起保存运行目录、数据集配置、代码版本和 Python 依赖。下面的命令会记录当前环境,并把整个实验目录打包;<PATH> 请替换为实际路径。
python -m pip freeze > "<PATH>/runs/detect/exp-001/environment.txt"
tar -czf "<PATH>/exp-001.tar.gz" -C "<PATH>/runs/detect" "exp-001"预期结果:
生成文件:
<PATH>/runs/detect/exp-001/environment.txt
<PATH>/exp-001.tar.gz打包后还要验证最佳权重能够正常读取。以下命令会在指定验证集上运行检测评估。
yolo detect val model="<PATH>/runs/detect/exp-001/weights/best.pt" data="<PATH>/data.yaml"预期输出:
Class Images Instances Box(P R mAP50 mAP50-95)
all <IMAGES> <INSTANCES> <VALUE> <VALUE> <VALUE> <VALUE>若权重无法加载,优先检查文件是否完整、Ultralytics 与 PyTorch 环境是否一致、路径是否指向正确实验。若恢复后立即报训练已完成,则说明检查点已经达到原定 epochs,应改为新建追加训练实验,而不是继续使用 resume=True。