计算机视觉 / 系统课时

管理对比实验

管理对比实验

模型优化不能只记录“这次效果更好”,还要保存数据版本、训练参数、随机种子和评估指标。本课将建立可追溯的实验档案,并用单变量对比判断某项调整是否真正有效。

学习目标

  • 记录能够复现实验结果的关键信息
  • 使用单变量原则设计基线实验和候选实验
  • 综合指标变化判断优化是否值得保留

为什么实验必须可追溯

训练结果同时受到数据、模型、参数、代码和随机性的影响。如果一次实验更换了数据集,又调整了图像尺寸和增强参数,即使 mAP 上升,也无法确定是哪项变化产生了效果。

一条完整实验记录至少应包含实验编号、代码版本、数据版本、随机种子、模型与训练参数、验证集指标。模型权重和日志也应使用实验编号归档,避免不同运行结果相互覆盖。

YOLOv8 对比实验记录关系图

建立最小实验档案

实验编号应保持唯一并具有可读性,例如 exp-001-baseline 和 exp-002-imgsz768。不要只依赖运行目录的创建时间,因为目录复制、迁移或重命名后,时间信息可能失去意义。

下面的完整脚本保存两次实验记录,检查数据版本和随机种子是否一致,并验证候选实验只修改了一个训练参数。

python
import json
from copy import deepcopy
from pathlib import Path

baseline = {
    'id': 'exp-001',
    'code_version': 'git-abc1234',
    'data_version': 'dataset-v3',
    'seed': 42,
    'params': {'model': 'yolov8n.pt', 'imgsz': 640, 'epochs': 80},
    'metrics': {'map50_95': 0.412, 'precision': 0.781, 'recall': 0.703},
}

candidate = deepcopy(baseline)
candidate['id'] = 'exp-002'
candidate['params']['imgsz'] = 768
candidate['metrics'] = {
    'map50_95': 0.431,
    'precision': 0.776,
    'recall': 0.729,
}

output_dir = Path('experiments')
output_dir.mkdir(exist_ok=True)

# 每次训练单独保存档案,避免后续无法还原实验条件
for experiment in (baseline, candidate):
    path = output_dir / (experiment['id'] + '.json')
    path.write_text(
        json.dumps(experiment, ensure_ascii=False, indent=2),
        encoding='utf-8',
    )

changed = [
    key for key in baseline['params']
    if baseline['params'][key] != candidate['params'][key]
]

# 数据、代码和随机种子必须保持一致,且只允许一个参数发生变化
assert baseline['code_version'] == candidate['code_version']
assert baseline['data_version'] == candidate['data_version']
assert baseline['seed'] == candidate['seed']
assert len(changed) == 1, f'必须只改变一个参数,实际变化:{changed}'

param = changed[0]
before = baseline['params'][param]
after = candidate['params'][param]
print('已保存: experiments/exp-001.json, experiments/exp-002.json')
print(f'唯一变化参数: {param} ({before} -> {after})')

for name in ('map50_95', 'precision', 'recall'):
    old = baseline['metrics'][name]
    new = candidate['metrics'][name]
    print(f'{name}: {old:.3f} -> {new:.3f} ({new - old:+.3f})')

预期输出:

text
已保存: experiments/exp-001.json, experiments/exp-002.json
唯一变化参数: imgsz (640 -> 768)
map50_95: 0.412 -> 0.431 (+0.019)
precision: 0.781 -> 0.776 (-0.005)
recall: 0.703 -> 0.729 (+0.026)

真实项目中,应在验证完成后把实际指标写入档案。还可以继续记录训练耗时、显存峰值、推理延迟和权重路径,但不要删除最基本的复现字段。

按单变量原则组织实验

先选定一组可稳定复现的参数作为基线,再复制基线并只修改一个待验证变量。数据划分、随机种子、训练轮数和评估脚本应保持一致,否则指标差异会混入其他因素。一次标准对比可以按以下顺序执行:

  1. 完成基线训练并冻结实验记录。
  2. 复制基线配置,只修改一个参数。
  3. 使用同一验证集计算全部指标。
  4. 保存指标差值、资源开销和结论。

单次结果波动较大时,应使用多个随机种子重复实验,再比较均值和波动范围。单变量原则约束的是每组对比中的主动变化,不代表只能训练一次。

判断优化是否值得保留

候选实验的 map50_95 提升了 0.019,但 Precision 略有下降。这说明更大的输入尺寸可能改善了目标召回和定位,却引入了一些额外误检,不能只依据一个指标直接宣布优化成功。

判断时还应结合业务目标:漏检代价较高时,可以接受小幅 Precision 下降来换取 Recall 提升;设备算力有限时,还要确认更大的图像尺寸是否导致延迟或显存超出预算。

检查项 需要回答的问题
检测质量 关键类别的 AP、Precision、Recall 是否改善
稳定性 多次运行的结果是否保持相同趋势
资源开销 训练时间、显存和推理延迟是否可接受
可复现性 数据、代码、参数和随机种子是否完整记录

常见实验管理错误

  • 同时修改模型、数据增强和图像尺寸,导致无法归因。
  • 只保存最佳权重,没有保存参数、数据版本和评估结果。
  • 使用不同验证集比较指标,使数值失去可比性。
  • 只报告提升最大的实验,不保留失败实验和判断依据。

失败实验同样具有价值。记录哪些调整无效,可以避免团队成员重复消耗训练资源,也能帮助后续分析不同参数之间的关系。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

管理对比实验

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通