计算机视觉 / 系统课时

管理训练实验

管理训练实验

当训练次数从一次变成几十次后,真正难的不是“再跑一遍”,而是准确回答这次用了什么数据、参数和初始权重,以及最终模型放在哪里。本节建立一套统一的实验命名、日志记录和权重归档方法,让任意一次训练都能被复现和比较。

学习目标

  • 设计能够反映模型、数据和关键变量的实验命名规则。
  • 使用固定目录记录训练参数、指标日志与权重文件。
  • 在训练结束后完成归档检查,避免覆盖或误用模型。

先定义实验的唯一身份

一条实验记录至少要能回答三个问题:训练的是什么、基于哪份数据、改了哪个关键变量。推荐使用 任务-模型-数据版本-变量-日期 组成运行名,例如 detect-yolo11n-v3-img640-20260903。如果同一天需要多次重复实验,再追加短序号,而不是使用 final、new2 这类无法追溯的名字。

实验名应尽量短,但不要把所有超参数都塞进去。完整参数交给训练配置和日志保存,名称只承担检索作用。数据集版本尤其不能省略,因为相同模型在不同标注版本上的结果不能直接视为同一实验。

固定训练目录和命名

下面以 Ultralytics YOLO CLI 为例。假设当前环境已安装 yolo 命令,且 data/dataset-v3.yaml 可以正常读取。通过 project 和 name 把每次运行写入稳定目录,而不是依赖自动生成的 train2、train3。

bash
RUN_NAME="detect-yolo11n-v3-img640-20260903"
yolo detect train \
  model=yolo11n.pt \
  data=data/dataset-v3.yaml \
  epochs=100 \
  imgsz=640 \
  batch=16 \
  seed=42 \
  deterministic=True \
  project=runs/experiments \
  name="$RUN_NAME"

预期结果

text
训练任务启动,并将本次结果写入:
runs/experiments/detect-yolo11n-v3-img640-20260903/
实际训练日志内容与耗时会因硬件、数据量和 Ultralytics 版本不同而变化。

固定 seed 只能减少随机性,并不能保证跨硬件、跨依赖版本得到完全相同的数值。要真正复现,还应同时固定数据版本、依赖版本和训练代码。

记录参数、指标和模型文件

Ultralytics 会在运行目录中保存训练参数、指标文件和 weights 子目录。团队管理时不要只复制 best.pt,否则几周后很难判断它来自哪次实验。最简单的规则是:模型文件永远和该次运行目录一起保留。

训练完成后可以做一次最小归档检查:

bash
RUN_DIR="runs/experiments/detect-yolo11n-v3-img640-20260903"
for FILE in best.pt last.pt; do
  test -f "$RUN_DIR/weights/$FILE" && echo "$FILE: OK" || echo "$FILE: MISSING"
done

预期输出

text
best.pt: OK
last.pt: OK

其中 best.pt 通常用于后续验证或部署候选,last.pt 记录最后一个训练状态,更适合中断恢复。归档时还应保留训练配置和指标曲线;不要只按“文件最大”或“最后修改时间”猜测应该使用哪个权重。

建立可比较的实验台账

实验目录解决“文件放哪里”,台账解决“为什么要跑”。最小台账可以使用 CSV、表格或实验跟踪平台,但字段应保持稳定:运行名、数据版本、初始模型、关键变量、随机种子、最佳指标、状态和备注。

只有当评估数据集、指标定义和验证设置一致时,两个实验的指标才适合横向比较。一次只改变一个关键变量,更容易判断差异来源;如果同时改数据增强、分辨率和 batch size,即使结果变好,也很难知道真正原因。

归档前做三项检查

训练结束后先确认运行目录名称没有被自动改写,再检查 best.pt 与 last.pt 是否存在,最后把本次实验的关键指标写入台账。需要清理磁盘时,也应先根据台账确认实验已经归档,而不是直接删除旧目录。

一套可持续的实验管理方法并不复杂:统一命名负责定位,运行目录负责保存证据,台账负责比较决策。只要三者始终使用同一个运行名关联起来,模型数量增加后仍然能够快速追踪每个权重的来历。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

管理训练实验

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通