计算机视觉 / 系统课时
制定验收指标
制定验收指标
模型训练结束并不等于项目完成。只有把“效果够好”翻译成可测量、可复现、可判定的门槛,团队才能决定模型是否允许上线。本课把精确率、召回率、推理速度和业务误差组合成一套可执行的 YOLO 验收规则。
学习目标
- 为 Precision、Recall、延迟和业务误差设定明确阈值
- 规定统一的数据集、置信度阈值和性能测试环境
- 用自动化脚本把多项指标收敛为可重复的通过或拒绝结论
先把指标和业务风险对应起来
Precision 关注“报出来的目标有多少是真的”,可写为 ;Recall 关注“真实目标有多少被找到”,可写为 。误报成本高的任务通常更重视 Precision,漏检成本高的任务通常更重视 Recall。
不要把单个 mAP 数字直接当成上线标准。验收更适合写成一组门槛,例如:整体 Precision 不低于 0.90、关键类别 Recall 不低于 0.92、单张图端到端 P95 延迟不高于 30 ms、关键目标漏检率不高于 2%。这样每个失败项都能对应到具体改进方向。
固定评测条件再谈阈值
指标只有在评测条件固定时才可比较。至少要锁定测试集版本、输入分辨率、置信度阈值、IoU 判定规则、推理设备、批大小,以及速度统计是否包含解码、预处理和后处理。
| 验收项 | 示例门槛 | 必须固定的条件 |
|---|---|---|
| Precision | >= 0.90 | 测试集、置信度阈值、IoU 规则 |
| Recall | >= 0.92 | 同上,并按关键类别单独统计 |
| P95 延迟 | <= 30 ms | 设备、输入尺寸、batch、预热方式 |
| 关键漏检率 | <= 2% | 关键类别定义、业务测试集 |
把业务误差单独定义
检测模型的业务损失常常不是 FP 和 FN 等价。安全告警中漏掉一个目标可能比多报一次严重得多,因此可以额外定义加权错误:。其中权重由业务决定,N 是评测样本数或业务事件数。
更常见的做法是直接定义业务可读指标,例如“夜间行人漏检率”“每 1000 张图的误报次数”“关键区域漏检数”。这些指标应在固定切片上统计,避免整体平均值掩盖高风险场景。
用脚本执行验收门禁
下面的示例把四项指标写成最小门禁。实际项目可将 metrics 替换为评测脚本产生的 JSON,再把该检查接入 CI 或模型发布流程。
metrics = {
"precision": 0.91,
"recall": 0.94,
"p95_latency_ms": 28.0,
"critical_fn_rate": 0.015,
}
thresholds = {
"precision": ("min", 0.90),
"recall": ("min", 0.92),
"p95_latency_ms": ("max", 30.0),
"critical_fn_rate": ("max", 0.02),
}
results = []
for name, (mode, limit) in thresholds.items():
value = metrics[name]
passed = value >= limit if mode == "min" else value <= limit
results.append(passed)
print(
f"{name}: {'PASS' if passed else 'FAIL'} "
f"(actual={value}, limit={mode} {limit})"
)
print("ACCEPTED" if all(results) else "REJECTED")预期输出
precision: PASS (actual=0.91, limit=min 0.9)
recall: PASS (actual=0.94, limit=min 0.92)
p95_latency_ms: PASS (actual=28.0, limit=max 30.0)
critical_fn_rate: PASS (actual=0.015, limit=max 0.02)
ACCEPTED实际评测值会随模型、数据集和硬件变化;阈值应版本化保存,不能临时口头修改。只要任一硬门槛失败,就应输出拒绝结果,而不是用其他指标的高分抵消。
验收要覆盖整体与关键切片
最终验收至少保留两层结果:一层看全量测试集,判断总体性能;另一层看关键类别、设备、场景和时间切片,防止平均值掩盖局部退化。速度指标也要同时记录硬件型号与软件环境,否则不同机器之间的毫秒数没有可比性。
一套可执行的验收标准,本质上是把“模型效果不错”改写成“在指定数据、指定环境和指定阈值下,所有硬门槛均通过”。这样模型迭代、回归测试和上线审批才能使用同一把尺子。