计算机视觉 / 系统课时
评估业务场景表现
评估业务场景表现
总体 mAP 或平均 Precision、Recall 容易掩盖业务中的薄弱场景。本节把评估样本按设备、光照、距离和目标尺寸切片,分别计算关键指标并比较最差分组,让你确认模型不是只在“平均样本”上表现良好。
学习目标
- 能为设备、光照、距离和目标尺寸建立稳定的评估切片
- 能分别计算每个切片的 Precision、Recall 和有效样本量
- 能根据最弱场景判断补数据、调阈值或调整模型方案的优先级
先固定场景切片规则
切片规则必须在查看结果前确定,否则很容易为了“解释指标”临时改分组。设备可以按摄像头型号或采集终端划分;光照可分正常光、弱光、逆光和夜间;距离按业务可感知的近、中、远分段;目标尺寸则建议按目标框面积占图像面积的比例划分。
同一批评估数据可以同时属于四个维度,但每个维度内部的规则必须互斥且稳定。例如“远距离”不应在不同批次里使用不同米数阈值,“小目标”也不应今天按像素宽度、明天按框面积定义。只有切片口径固定,不同模型版本之间才具有可比性。
分别计算每个场景指标
下面使用聚合后的 TP、FP、FN 记录演示切片评估。真实项目中,这些计数应来自同一套类别匹配、IoU 阈值和置信度规则。
rows = [
{"device": "cam-a", "lighting": "bright", "distance": "near", "target_size": "large", "tp": 60, "fp": 5, "fn": 10},
{"device": "cam-a", "lighting": "dim", "distance": "far", "target_size": "small", "tp": 30, "fp": 10, "fn": 20},
{"device": "cam-b", "lighting": "bright", "distance": "far", "target_size": "medium", "tp": 40, "fp": 8, "fn": 15},
{"device": "cam-b", "lighting": "dim", "distance": "near", "target_size": "small", "tp": 20, "fp": 12, "fn": 25},
{"device": "cam-a", "lighting": "backlit","distance": "near", "target_size": "medium", "tp": 25, "fp": 9, "fn": 15},
{"device": "cam-b", "lighting": "backlit","distance": "far", "target_size": "large", "tp": 35, "fp": 7, "fn": 20},
]
def summarize(data, key):
groups = {}
for row in data:
bucket = groups.setdefault(row[key], {"tp": 0, "fp": 0, "fn": 0})
for metric in ("tp", "fp", "fn"):
bucket[metric] += row[metric]
print(f"[{key}]")
for name in sorted(groups):
value = groups[name]
precision = value["tp"] / (value["tp"] + value["fp"])
recall = value["tp"] / (value["tp"] + value["fn"])
support = value["tp"] + value["fn"]
print(
f"{name}: support={support}, "
f"precision={precision:.3f}, recall={recall:.3f}"
)
for dimension in ("device", "lighting", "distance", "target_size"):
summarize(rows, dimension)预期输出
[device]
cam-a: support=160, precision=0.827, recall=0.719
cam-b: support=155, precision=0.779, recall=0.613
[lighting]
backlit: support=95, precision=0.789, recall=0.632
bright: support=125, precision=0.885, recall=0.800
dim: support=95, precision=0.694, recall=0.526
[distance]
far: support=160, precision=0.808, recall=0.656
near: support=155, precision=0.802, recall=0.677
[target_size]
large: support=125, precision=0.888, recall=0.760
medium: support=95, precision=0.793, recall=0.684
small: support=95, precision=0.694, recall=0.526如果某个切片样本很少,指标波动会很大,因此 support 必须和 Precision、Recall 一起看。实际值还会随着样本数量、阈值和匹配规则变化。
用最差切片判断业务风险
业务评估关注的不是“哪个切片最高”,而是“哪个切片低到不可接受”。例如总体 Recall 达标,但弱光和小目标 Recall 明显偏低,说明部署到夜间或远距离场景后仍可能出现大量漏检。此时继续优化总体平均值的收益,往往不如优先修复最差切片。
可为关键场景预先设置验收门槛,例如夜间 Recall 不低于某值、指定设备 Precision 不低于某值。门槛应来自业务误报和漏报成本,而不是为了让当前模型过线而反向调整。
把场景差异转成改进动作
如果差异主要来自设备,应检查分辨率、镜头畸变、压缩质量和预处理是否一致;如果弱光或逆光显著变差,应优先补充对应数据并检查增强策略;如果远距离或小目标明显落后,则需要同时评估输入分辨率、目标尺度分布和标注质量。
场景切片评估的价值在于把“模型效果一般”变成可定位的问题。只要切片规则、评估阈值和样本集保持稳定,你就可以用同一张场景成绩单比较模型版本,并确认优化是否真正改善了业务最薄弱的部分。