计算机视觉 / 系统课时

制定验收指标

制定验收指标

模型训练结束并不等于项目完成。只有把“效果够好”翻译成可测量、可复现、可判定的门槛,团队才能决定模型是否允许上线。本课把精确率、召回率、推理速度和业务误差组合成一套可执行的 YOLO 验收规则。

学习目标

  • 为 Precision、Recall、延迟和业务误差设定明确阈值
  • 规定统一的数据集、置信度阈值和性能测试环境
  • 用自动化脚本把多项指标收敛为可重复的通过或拒绝结论

先把指标和业务风险对应起来

Precision 关注“报出来的目标有多少是真的”,可写为 P=TP/(TP+FP)P = TP / (TP + FP);Recall 关注“真实目标有多少被找到”,可写为 R=TP/(TP+FN)R = TP / (TP + FN)。误报成本高的任务通常更重视 Precision,漏检成本高的任务通常更重视 Recall。

不要把单个 mAP 数字直接当成上线标准。验收更适合写成一组门槛,例如:整体 Precision 不低于 0.90、关键类别 Recall 不低于 0.92、单张图端到端 P95 延迟不高于 30 ms、关键目标漏检率不高于 2%。这样每个失败项都能对应到具体改进方向。

固定评测条件再谈阈值

指标只有在评测条件固定时才可比较。至少要锁定测试集版本、输入分辨率、置信度阈值、IoU 判定规则、推理设备、批大小,以及速度统计是否包含解码、预处理和后处理。

验收项 示例门槛 必须固定的条件
Precision >= 0.90 测试集、置信度阈值、IoU 规则
Recall >= 0.92 同上,并按关键类别单独统计
P95 延迟 <= 30 ms 设备、输入尺寸、batch、预热方式
关键漏检率 <= 2% 关键类别定义、业务测试集

把业务误差单独定义

检测模型的业务损失常常不是 FP 和 FN 等价。安全告警中漏掉一个目标可能比多报一次严重得多,因此可以额外定义加权错误:E=(wFN×FN+wFP×FP)/NE = (w_{FN} \times FN + w_{FP} \times FP) / N。其中权重由业务决定,N 是评测样本数或业务事件数。

更常见的做法是直接定义业务可读指标,例如“夜间行人漏检率”“每 1000 张图的误报次数”“关键区域漏检数”。这些指标应在固定切片上统计,避免整体平均值掩盖高风险场景。

用脚本执行验收门禁

下面的示例把四项指标写成最小门禁。实际项目可将 metrics 替换为评测脚本产生的 JSON,再把该检查接入 CI 或模型发布流程。

python
metrics = {
    "precision": 0.91,
    "recall": 0.94,
    "p95_latency_ms": 28.0,
    "critical_fn_rate": 0.015,
}

thresholds = {
    "precision": ("min", 0.90),
    "recall": ("min", 0.92),
    "p95_latency_ms": ("max", 30.0),
    "critical_fn_rate": ("max", 0.02),
}

results = []

for name, (mode, limit) in thresholds.items():
    value = metrics[name]
    passed = value >= limit if mode == "min" else value <= limit
    results.append(passed)
    print(
        f"{name}: {'PASS' if passed else 'FAIL'} "
        f"(actual={value}, limit={mode} {limit})"
    )

print("ACCEPTED" if all(results) else "REJECTED")

预期输出

text
precision: PASS (actual=0.91, limit=min 0.9)
recall: PASS (actual=0.94, limit=min 0.92)
p95_latency_ms: PASS (actual=28.0, limit=max 30.0)
critical_fn_rate: PASS (actual=0.015, limit=max 0.02)
ACCEPTED

实际评测值会随模型、数据集和硬件变化;阈值应版本化保存,不能临时口头修改。只要任一硬门槛失败,就应输出拒绝结果,而不是用其他指标的高分抵消。

验收要覆盖整体与关键切片

最终验收至少保留两层结果:一层看全量测试集,判断总体性能;另一层看关键类别、设备、场景和时间切片,防止平均值掩盖局部退化。速度指标也要同时记录硬件型号与软件环境,否则不同机器之间的毫秒数没有可比性。

一套可执行的验收标准,本质上是把“模型效果不错”改写成“在指定数据、指定环境和指定阈值下,所有硬门槛均通过”。这样模型迭代、回归测试和上线审批才能使用同一把尺子。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

制定验收指标

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通