计算机视觉 / 系统课时

保存与恢复训练

保存与恢复训练

长时间训练最怕中断后从头开始,也容易把 best.pt 与 last.pt 用反。本课将建立可复现的实验目录,说明两类权重的职责,演示用检查点恢复优化器、学习率调度器和 epoch 状态,并完成恢复后的验收。

学习目标

  • 区分最佳权重、最后权重和中间检查点
  • 使用 last.pt 从中断位置继续训练
  • 保存实验参数、环境信息和训练产物以便复现

先区分 best.pt 与 last.pt

一次检测训练通常会在运行目录中保存参数、指标、图表和权重。实际目录名可能是 train、train2 或自定义名称,下面用 <PATH>/runs/detect/exp-001 表示本次实验目录。

text
<PATH>/runs/detect/exp-001/
├── args.yaml
├── results.csv
├── results.png
└── weights/
    ├── best.pt
    └── last.pt
文件 保存时机与内容 首选用途
best.pt 验证综合表现达到当前最佳时更新 验证、推理、导出和部署
last.pt 保存最近完成的训练轮次 中断恢复和继续原实验
args.yaml 记录本次训练参数 检查 batch、imgsz、epochs、设备等设置
results.csv 逐 epoch 保存损失和指标 查找最佳轮次并比较实验

恢复训练时,Ultralytics 会从检查点恢复模型权重、优化器状态、学习率调度器和 epoch 编号,因此应优先使用中断实验的 last.pt。:contentReference[oaicite:2]{index=2}

YOLOv8 检查点保存与恢复流程

从 last.pt 继续训练

将下面代码保存为 resume_train.py。CHECKPOINT 必须指向原实验的 last.pt,不要改成初始预训练权重。

python
from pathlib import Path

from ultralytics import YOLO

CHECKPOINT = Path("<PATH>/runs/detect/exp-001/weights/last.pt")

def main() -> None:
    if not CHECKPOINT.is_file():
        raise SystemExit(f"检查点不存在: {CHECKPOINT}")

    # resume=True 会沿用检查点中的训练状态,而不是开启全新实验
    model = YOLO(str(CHECKPOINT))
    model.train(resume=True)

if __name__ == "__main__":
    main()

运行命令:

bash
python resume_train.py

预期结果:

text
<TRAINING_LOG>
训练从检查点记录的下一个 epoch 继续,而不是从 epoch 1 重新开始。

实际日志中的版本号、设备、epoch 和保存路径会不同。恢复成功后,应确认首个 epoch 编号承接中断位置,并观察输出仍写入对应实验目录。官方训练接口使用 YOLO("<PATH>/last.pt").train(resume=True) 恢复最近状态。:contentReference[oaicite:3]{index=3}

已经完整训练到设定 epochs 后,若还想追加训练轮数,不应把它理解为“恢复中断”。更稳妥的做法是以 best.pt 或 last.pt 作为新实验的初始权重,明确设置新的 epochs、project 和 name;这会创建新的训练过程,优化器与轮次语义也与原实验恢复不同。

保存实验并完成验收

只保留权重不足以复现实验。至少应一起保存运行目录、数据集配置、代码版本和 Python 依赖。下面的命令会记录当前环境,并把整个实验目录打包;<PATH> 请替换为实际路径。

bash
python -m pip freeze > "<PATH>/runs/detect/exp-001/environment.txt"
tar -czf "<PATH>/exp-001.tar.gz" -C "<PATH>/runs/detect" "exp-001"

预期结果:

text
生成文件:
<PATH>/runs/detect/exp-001/environment.txt
<PATH>/exp-001.tar.gz

打包后还要验证最佳权重能够正常读取。以下命令会在指定验证集上运行检测评估。

bash
yolo detect val model="<PATH>/runs/detect/exp-001/weights/best.pt" data="<PATH>/data.yaml"

预期输出:

text
Class  Images  Instances  Box(P  R  mAP50  mAP50-95)
all    <IMAGES> <INSTANCES> <VALUE> <VALUE> <VALUE> <VALUE>

若权重无法加载,优先检查文件是否完整、Ultralytics 与 PyTorch 环境是否一致、路径是否指向正确实验。若恢复后立即报训练已完成,则说明检查点已经达到原定 epochs,应改为新建追加训练实验,而不是继续使用 resume=True。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

保存与恢复训练

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通