计算机视觉 / 系统课时

比较模型版本

比较模型版本

训练出多个 YOLO 版本后,不能只看最高 mAP 就决定上线。本课建立一套统一比较口径,把精度、推理速度、跨次训练波动和业务指标放到同一张决策表中,并用门槛规则得到可复核的版本结论。

学习目标

  • 在同一评测条件下比较模型精度、速度、稳定性和业务表现
  • 用重复实验和延迟分位数避免被单次最好结果误导
  • 建立可执行的版本准入门槛,并保留淘汰原因

先固定比较口径

模型比较的前提不是“指标更多”,而是条件一致。所有候选版本应使用同一验证集或测试集、同一图片尺寸、置信度与 NMS 设置,并在同一推理硬件和同一部署后端上测速。否则,速度或精度差异可能来自环境,而不是模型本身。

建议至少保留四类指标:精度看 mAP@50:95、Precision、Recall;速度看预热后的 P50/P95 延迟或吞吐量;稳定性看不同随机种子重复训练后的指标标准差、异常样本波动;业务表现则使用真正影响结果的指标,例如漏检率、人工复核量或业务命中率。

用重复结果比较候选版本

下面的完整 Python 示例把三个随机种子的精度、重复测速延迟和业务得分放在一起。示例不做任意加权,而是先汇总均值、标准差和 P95,再检查候选版本是否同时通过四个门槛。

python
from statistics import mean, pstdev

baseline = {
    "name": "baseline",
    "map_runs": [0.599, 0.603, 0.601],
    "latency_ms": [22.4, 22.8, 23.1, 22.6, 22.9],
    "business_score": [0.840, 0.844, 0.842],
}

candidate = {
    "name": "candidate",
    "map_runs": [0.617, 0.620, 0.618],
    "latency_ms": [20.1, 20.4, 20.7, 20.2, 20.5],
    "business_score": [0.859, 0.863, 0.861],
}

def percentile95(values):
    ordered = sorted(values)
    index = max(0, int(len(ordered) * 0.95 + 0.999999) - 1)
    return ordered[index]

def summarize(item):
    return {
        "map_mean": mean(item["map_runs"]),
        "map_std": pstdev(item["map_runs"]),
        "p95_ms": percentile95(item["latency_ms"]),
        "business": mean(item["business_score"]),
    }

base = summarize(baseline)
cand = summarize(candidate)

gates = {
    "map_mean": cand["map_mean"] >= 0.610,
    "map_std": cand["map_std"] <= 0.003,
    "p95_ms": cand["p95_ms"] <= 22.0,
    "business": cand["business"] >= 0.855,
}

print(
    f'baseline map={base["map_mean"]:.3f} std={base["map_std"]:.3f} '
    f'p95={base["p95_ms"]:.1f}ms business={base["business"]:.3f}'
)
print(
    f'candidate map={cand["map_mean"]:.3f} std={cand["map_std"]:.3f} '
    f'p95={cand["p95_ms"]:.1f}ms business={cand["business"]:.3f}'
)
print("decision=" + ("PASS" if all(gates.values()) else "FAIL"))

预期输出

text
baseline map=0.601 std=0.002 p95=23.1ms business=0.842
candidate map=0.618 std=0.001 p95=20.7ms business=0.861
decision=PASS

这里的阈值只是示例,真实项目应由线上容量、错误成本和业务目标决定。关键是把阈值先写清,再运行比较,而不是看到结果后临时修改标准。

检查指标之间的冲突

一个版本很少在所有维度都绝对领先。mAP 提升但 P95 延迟明显变差时,应先判断线上 SLA 是否允许;平均精度接近但跨种子波动更小时,稳定版本通常更适合作为持续迭代基线;离线指标上涨但业务得分下降,则优先检查数据分布和业务误差类型。

比较表中还应保留基线版本、候选版本、指标差值、门槛和是否通过。只有通过硬门槛的版本,才进入下一步灰度或线上 A/B;未通过的版本要记录失败维度,避免下一轮重复试验。

做出可复核的版本结论

最终结论应能够回答三个问题:候选版本相对当前基线改善了什么、付出了什么代价、是否满足上线门槛。对于检测模型,通常不能用单一 mAP 替代速度、稳定性和业务误差;只有统一数据、统一环境、重复评测和预先定义门槛都成立,版本比较才真正具有工程意义。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

比较模型版本

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通