计算机视觉 / 系统课时
开展对照实验
开展对照实验
训练调优最怕一次改动多个参数,最后无法判断提升来自哪里。本课将建立“基线、单变量、记录、复测、结论”的实验流程,使模型对比有证据、可复现,也便于后续回滚。
学习目标
- 把调优想法转成只改变一个因素的实验假设
- 统一记录数据、代码、训练配置和评估结果
- 根据重复实验和业务指标判断改动是否值得保留
定义假设、基线与变量
每组实验先写一句可验证的假设,例如:“训练最后 10 个 epoch 关闭 Mosaic,能提高小目标的 mAP@0.5:0.95,且不会明显增加延迟。”然后指定一个已经稳定跑通的基线,后续实验都与它比较。
| 类别 | 内容 | 处理方式 |
|---|---|---|
| 固定变量 | 数据划分、模型规模、输入尺寸、epoch、评估脚本 | 全部保持一致 |
| 自变量 | 本次要验证的一个参数或策略 | 只修改这一项 |
| 因变量 | mAP、Precision、Recall、P95 延迟、显存 | 统一方法测量 |
若同时修改模型规模、数据增强和学习率,即使结果变好,也无法确定真正有效的因素。实验开始前还要锁定数据版本、代码版本和随机种子,避免环境变化被误认为参数收益。
按单变量流程执行
一次实验只验证一个核心变化。先确认基线可复现,再运行实验组;训练后使用相同验证集、阈值和设备评估。对于随机性较强的改动,可使用多个固定种子重复实验,再比较均值和波动范围。

推荐顺序是先检查训练是否中断、损失是否异常,再比较目标指标。当提升接近正常波动时,应补做重复实验,不要根据单次最好结果直接下结论。
记录并判断实验结果
下面的可运行脚本构造一组基线和实验记录,自动检查配置是否只改变了一个变量,并把结果写入 CSV。示例指标需要替换为真实训练结果。
import csv
from pathlib import Path
CONFIG_FIELDS = [
"data_version",
"code_version",
"weights",
"imgsz",
"batch_size",
"epochs",
"seed",
"close_mosaic",
]
baseline = {
"name": "baseline",
"data_version": "dataset-v3",
"code_version": "commit-a1b2c3d",
"weights": "yolov5s.pt",
"imgsz": 640,
"batch_size": 16,
"epochs": 100,
"seed": 42,
"close_mosaic": 0,
"map_50_95": 0.542,
"p95_latency_ms": 8.4,
}
experiment = {
**baseline,
"name": "close-mosaic-last-10",
"close_mosaic": 10,
"map_50_95": 0.556,
"p95_latency_ms": 8.5,
}
changed_fields = [
field
for field in CONFIG_FIELDS
if baseline[field] != experiment[field]
]
if len(changed_fields) != 1:
raise ValueError(f"实验必须只改变一个配置项,当前变化项: {changed_fields}")
output_path = Path("experiment-results.csv")
fieldnames = ["name", *CONFIG_FIELDS, "map_50_95", "p95_latency_ms"]
with output_path.open("w", newline="", encoding="utf-8-sig") as file:
writer = csv.DictWriter(file, fieldnames=fieldnames)
writer.writeheader()
writer.writerows([baseline, experiment])
map_delta = experiment["map_50_95"] - baseline["map_50_95"]
latency_delta = experiment["p95_latency_ms"] - baseline["p95_latency_ms"]
print("唯一自变量:", changed_fields[0])
print(f"mAP 变化: {map_delta:+.3f}")
print(f"P95 延迟变化: {latency_delta:+.1f} ms")
print("结果文件:", output_path)预期输出:
唯一自变量: close_mosaic
mAP 变化: +0.014
P95 延迟变化: +0.1 ms
结果文件: experiment-results.csv实际台账还应记录实验名称、假设、基线编号、日志目录、最佳权重路径、运行时间和异常说明。命名应能看出唯一变化,例如 baseline-s-640、lr-0.005、close-mosaic-10,不要使用 test1 这类无法追溯目的的名称。
判断结果时,不要只比较“最好的一次”。先确认没有数据泄漏或评估参数变化,再比较多次运行的均值与波动。如果提升小于不同种子之间的自然波动,应标记为“结论不足”。只有目标指标稳定提升,且延迟与资源仍满足业务门槛,改动才值得保留。
本课总结
- 对照实验必须有稳定基线,并且一次只改变一个核心变量
- 数据版本、代码版本、训练参数和评估方式都要可追溯
- 小幅提升需要重复实验验证,结论必须同时考虑精度、延迟和资源
下一课预告
下一课将把多轮对照实验的结果汇总为调优决策,识别真正有效的组合,并避免参数叠加后出现相互干扰。