计算机视觉 / 系统课时

开展对照实验

开展对照实验

训练调优最怕一次改动多个参数,最后无法判断提升来自哪里。本课将建立“基线、单变量、记录、复测、结论”的实验流程,使模型对比有证据、可复现,也便于后续回滚。

学习目标

  • 把调优想法转成只改变一个因素的实验假设
  • 统一记录数据、代码、训练配置和评估结果
  • 根据重复实验和业务指标判断改动是否值得保留

定义假设、基线与变量

每组实验先写一句可验证的假设,例如:“训练最后 10 个 epoch 关闭 Mosaic,能提高小目标的 mAP@0.5:0.95,且不会明显增加延迟。”然后指定一个已经稳定跑通的基线,后续实验都与它比较。

类别 内容 处理方式
固定变量 数据划分、模型规模、输入尺寸、epoch、评估脚本 全部保持一致
自变量 本次要验证的一个参数或策略 只修改这一项
因变量 mAP、Precision、Recall、P95 延迟、显存 统一方法测量

若同时修改模型规模、数据增强和学习率,即使结果变好,也无法确定真正有效的因素。实验开始前还要锁定数据版本、代码版本和随机种子,避免环境变化被误认为参数收益。

按单变量流程执行

一次实验只验证一个核心变化。先确认基线可复现,再运行实验组;训练后使用相同验证集、阈值和设备评估。对于随机性较强的改动,可使用多个固定种子重复实验,再比较均值和波动范围。

YOLOv5 对照实验闭环

推荐顺序是先检查训练是否中断、损失是否异常,再比较目标指标。当提升接近正常波动时,应补做重复实验,不要根据单次最好结果直接下结论。

记录并判断实验结果

下面的可运行脚本构造一组基线和实验记录,自动检查配置是否只改变了一个变量,并把结果写入 CSV。示例指标需要替换为真实训练结果。

python
import csv
from pathlib import Path

CONFIG_FIELDS = [
    "data_version",
    "code_version",
    "weights",
    "imgsz",
    "batch_size",
    "epochs",
    "seed",
    "close_mosaic",
]

baseline = {
    "name": "baseline",
    "data_version": "dataset-v3",
    "code_version": "commit-a1b2c3d",
    "weights": "yolov5s.pt",
    "imgsz": 640,
    "batch_size": 16,
    "epochs": 100,
    "seed": 42,
    "close_mosaic": 0,
    "map_50_95": 0.542,
    "p95_latency_ms": 8.4,
}

experiment = {
    **baseline,
    "name": "close-mosaic-last-10",
    "close_mosaic": 10,
    "map_50_95": 0.556,
    "p95_latency_ms": 8.5,
}

changed_fields = [
    field
    for field in CONFIG_FIELDS
    if baseline[field] != experiment[field]
]

if len(changed_fields) != 1:
    raise ValueError(f"实验必须只改变一个配置项,当前变化项: {changed_fields}")

output_path = Path("experiment-results.csv")
fieldnames = ["name", *CONFIG_FIELDS, "map_50_95", "p95_latency_ms"]

with output_path.open("w", newline="", encoding="utf-8-sig") as file:
    writer = csv.DictWriter(file, fieldnames=fieldnames)
    writer.writeheader()
    writer.writerows([baseline, experiment])

map_delta = experiment["map_50_95"] - baseline["map_50_95"]
latency_delta = experiment["p95_latency_ms"] - baseline["p95_latency_ms"]

print("唯一自变量:", changed_fields[0])
print(f"mAP 变化: {map_delta:+.3f}")
print(f"P95 延迟变化: {latency_delta:+.1f} ms")
print("结果文件:", output_path)

预期输出:

text
唯一自变量: close_mosaic
mAP 变化: +0.014
P95 延迟变化: +0.1 ms
结果文件: experiment-results.csv

实际台账还应记录实验名称、假设、基线编号、日志目录、最佳权重路径、运行时间和异常说明。命名应能看出唯一变化,例如 baseline-s-640、lr-0.005、close-mosaic-10,不要使用 test1 这类无法追溯目的的名称。

判断结果时,不要只比较“最好的一次”。先确认没有数据泄漏或评估参数变化,再比较多次运行的均值与波动。如果提升小于不同种子之间的自然波动,应标记为“结论不足”。只有目标指标稳定提升,且延迟与资源仍满足业务门槛,改动才值得保留。

本课总结

  • 对照实验必须有稳定基线,并且一次只改变一个核心变量
  • 数据版本、代码版本、训练参数和评估方式都要可追溯
  • 小幅提升需要重复实验验证,结论必须同时考虑精度、延迟和资源

下一课预告

下一课将把多轮对照实验的结果汇总为调优决策,识别真正有效的组合,并避免参数叠加后出现相互干扰。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

开展对照实验

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通