计算机视觉 / 系统课时
比较模型版本
比较模型版本
训练出多个 YOLO 版本后,不能只看最高 mAP 就决定上线。本课建立一套统一比较口径,把精度、推理速度、跨次训练波动和业务指标放到同一张决策表中,并用门槛规则得到可复核的版本结论。
学习目标
- 在同一评测条件下比较模型精度、速度、稳定性和业务表现
- 用重复实验和延迟分位数避免被单次最好结果误导
- 建立可执行的版本准入门槛,并保留淘汰原因
先固定比较口径
模型比较的前提不是“指标更多”,而是条件一致。所有候选版本应使用同一验证集或测试集、同一图片尺寸、置信度与 NMS 设置,并在同一推理硬件和同一部署后端上测速。否则,速度或精度差异可能来自环境,而不是模型本身。
建议至少保留四类指标:精度看 mAP@50:95、Precision、Recall;速度看预热后的 P50/P95 延迟或吞吐量;稳定性看不同随机种子重复训练后的指标标准差、异常样本波动;业务表现则使用真正影响结果的指标,例如漏检率、人工复核量或业务命中率。
用重复结果比较候选版本
下面的完整 Python 示例把三个随机种子的精度、重复测速延迟和业务得分放在一起。示例不做任意加权,而是先汇总均值、标准差和 P95,再检查候选版本是否同时通过四个门槛。
from statistics import mean, pstdev
baseline = {
"name": "baseline",
"map_runs": [0.599, 0.603, 0.601],
"latency_ms": [22.4, 22.8, 23.1, 22.6, 22.9],
"business_score": [0.840, 0.844, 0.842],
}
candidate = {
"name": "candidate",
"map_runs": [0.617, 0.620, 0.618],
"latency_ms": [20.1, 20.4, 20.7, 20.2, 20.5],
"business_score": [0.859, 0.863, 0.861],
}
def percentile95(values):
ordered = sorted(values)
index = max(0, int(len(ordered) * 0.95 + 0.999999) - 1)
return ordered[index]
def summarize(item):
return {
"map_mean": mean(item["map_runs"]),
"map_std": pstdev(item["map_runs"]),
"p95_ms": percentile95(item["latency_ms"]),
"business": mean(item["business_score"]),
}
base = summarize(baseline)
cand = summarize(candidate)
gates = {
"map_mean": cand["map_mean"] >= 0.610,
"map_std": cand["map_std"] <= 0.003,
"p95_ms": cand["p95_ms"] <= 22.0,
"business": cand["business"] >= 0.855,
}
print(
f'baseline map={base["map_mean"]:.3f} std={base["map_std"]:.3f} '
f'p95={base["p95_ms"]:.1f}ms business={base["business"]:.3f}'
)
print(
f'candidate map={cand["map_mean"]:.3f} std={cand["map_std"]:.3f} '
f'p95={cand["p95_ms"]:.1f}ms business={cand["business"]:.3f}'
)
print("decision=" + ("PASS" if all(gates.values()) else "FAIL"))预期输出
baseline map=0.601 std=0.002 p95=23.1ms business=0.842
candidate map=0.618 std=0.001 p95=20.7ms business=0.861
decision=PASS这里的阈值只是示例,真实项目应由线上容量、错误成本和业务目标决定。关键是把阈值先写清,再运行比较,而不是看到结果后临时修改标准。
检查指标之间的冲突
一个版本很少在所有维度都绝对领先。mAP 提升但 P95 延迟明显变差时,应先判断线上 SLA 是否允许;平均精度接近但跨种子波动更小时,稳定版本通常更适合作为持续迭代基线;离线指标上涨但业务得分下降,则优先检查数据分布和业务误差类型。
比较表中还应保留基线版本、候选版本、指标差值、门槛和是否通过。只有通过硬门槛的版本,才进入下一步灰度或线上 A/B;未通过的版本要记录失败维度,避免下一轮重复试验。
做出可复核的版本结论
最终结论应能够回答三个问题:候选版本相对当前基线改善了什么、付出了什么代价、是否满足上线门槛。对于检测模型,通常不能用单一 mAP 替代速度、稳定性和业务误差;只有统一数据、统一环境、重复评测和预先定义门槛都成立,版本比较才真正具有工程意义。