计算机视觉 / 系统课时
管理训练实验
管理训练实验
当训练次数从一次变成几十次后,真正难的不是“再跑一遍”,而是准确回答这次用了什么数据、参数和初始权重,以及最终模型放在哪里。本节建立一套统一的实验命名、日志记录和权重归档方法,让任意一次训练都能被复现和比较。
学习目标
- 设计能够反映模型、数据和关键变量的实验命名规则。
- 使用固定目录记录训练参数、指标日志与权重文件。
- 在训练结束后完成归档检查,避免覆盖或误用模型。
先定义实验的唯一身份
一条实验记录至少要能回答三个问题:训练的是什么、基于哪份数据、改了哪个关键变量。推荐使用 任务-模型-数据版本-变量-日期 组成运行名,例如 detect-yolo11n-v3-img640-20260903。如果同一天需要多次重复实验,再追加短序号,而不是使用 final、new2 这类无法追溯的名字。
实验名应尽量短,但不要把所有超参数都塞进去。完整参数交给训练配置和日志保存,名称只承担检索作用。数据集版本尤其不能省略,因为相同模型在不同标注版本上的结果不能直接视为同一实验。
固定训练目录和命名
下面以 Ultralytics YOLO CLI 为例。假设当前环境已安装 yolo 命令,且 data/dataset-v3.yaml 可以正常读取。通过 project 和 name 把每次运行写入稳定目录,而不是依赖自动生成的 train2、train3。
RUN_NAME="detect-yolo11n-v3-img640-20260903"
yolo detect train \
model=yolo11n.pt \
data=data/dataset-v3.yaml \
epochs=100 \
imgsz=640 \
batch=16 \
seed=42 \
deterministic=True \
project=runs/experiments \
name="$RUN_NAME"预期结果
训练任务启动,并将本次结果写入:
runs/experiments/detect-yolo11n-v3-img640-20260903/
实际训练日志内容与耗时会因硬件、数据量和 Ultralytics 版本不同而变化。固定 seed 只能减少随机性,并不能保证跨硬件、跨依赖版本得到完全相同的数值。要真正复现,还应同时固定数据版本、依赖版本和训练代码。
记录参数、指标和模型文件
Ultralytics 会在运行目录中保存训练参数、指标文件和 weights 子目录。团队管理时不要只复制 best.pt,否则几周后很难判断它来自哪次实验。最简单的规则是:模型文件永远和该次运行目录一起保留。
训练完成后可以做一次最小归档检查:
RUN_DIR="runs/experiments/detect-yolo11n-v3-img640-20260903"
for FILE in best.pt last.pt; do
test -f "$RUN_DIR/weights/$FILE" && echo "$FILE: OK" || echo "$FILE: MISSING"
done预期输出
best.pt: OK
last.pt: OK其中 best.pt 通常用于后续验证或部署候选,last.pt 记录最后一个训练状态,更适合中断恢复。归档时还应保留训练配置和指标曲线;不要只按“文件最大”或“最后修改时间”猜测应该使用哪个权重。
建立可比较的实验台账
实验目录解决“文件放哪里”,台账解决“为什么要跑”。最小台账可以使用 CSV、表格或实验跟踪平台,但字段应保持稳定:运行名、数据版本、初始模型、关键变量、随机种子、最佳指标、状态和备注。
只有当评估数据集、指标定义和验证设置一致时,两个实验的指标才适合横向比较。一次只改变一个关键变量,更容易判断差异来源;如果同时改数据增强、分辨率和 batch size,即使结果变好,也很难知道真正原因。
归档前做三项检查
训练结束后先确认运行目录名称没有被自动改写,再检查 best.pt 与 last.pt 是否存在,最后把本次实验的关键指标写入台账。需要清理磁盘时,也应先根据台账确认实验已经归档,而不是直接删除旧目录。
一套可持续的实验管理方法并不复杂:统一命名负责定位,运行目录负责保存证据,台账负责比较决策。只要三者始终使用同一个运行名关联起来,模型数量增加后仍然能够快速追踪每个权重的来历。