计算机视觉 / 系统课时
检查预测样本
检查预测样本
模型指标只能告诉你“整体好不好”,不能直接说明“错在哪里”。本节用一份最小预测记录把误检、漏检、定位偏差和低置信度样本筛出来,再整理成可复查的错误清单,方便后续回到数据、标注或阈值设置逐项修正。
学习目标
- 能按误检、漏检、定位偏差和低置信度筛选预测样本
- 能为每条错误记录保留置信度、IoU 和场景备注等复查信息
- 能把错误清单转化为数据修正、阈值调整或补充采样动作
先定义要检查的错误
人工检查不要从“随机翻预测图”开始,而应先统一错误口径。最常见的四类问题分别对应不同修复方向:误检通常与背景干扰或阈值有关,漏检通常与样本覆盖不足有关,定位偏差常指向框标注或尺度问题,低置信度则说明模型虽然找到了目标,但判断不稳定。
对目标检测任务,可先用以下最小规则建立错误池:真实目标存在但没有预测框记为漏检;真实目标不存在却产生预测框记为误检;预测与真实框匹配但 IoU 低于阈值记为定位偏差;匹配正确但置信度低于业务阈值记为低置信度。真实项目还应按类别进行一对一匹配,并以实际 NMS 输出为准。
生成错误分析清单
下面的示例使用一组已经完成匹配的预测记录。它不依赖第三方库,重点演示如何把错误类型、置信度和 IoU 统一整理成可排序清单。
records = [
{"sample_id": "img_001", "gt": True, "pred": True, "confidence": 0.91, "iou": 0.78},
{"sample_id": "img_002", "gt": False, "pred": True, "confidence": 0.72, "iou": 0.00},
{"sample_id": "img_003", "gt": True, "pred": False, "confidence": 0.00, "iou": 0.00},
{"sample_id": "img_004", "gt": True, "pred": True, "confidence": 0.34, "iou": 0.66},
{"sample_id": "img_005", "gt": True, "pred": True, "confidence": 0.81, "iou": 0.41},
]
confidence_threshold = 0.50
iou_threshold = 0.50
def classify(row):
if row["gt"] and not row["pred"]:
return "false_negative"
if not row["gt"] and row["pred"]:
return "false_positive"
if row["gt"] and row["pred"] and row["iou"] < iou_threshold:
return "localization_error"
if row["pred"] and row["confidence"] < confidence_threshold:
return "low_confidence"
return "correct"
errors = []
for row in records:
error_type = classify(row)
if error_type != "correct":
errors.append({
"sample_id": row["sample_id"],
"error_type": error_type,
"confidence": row["confidence"],
"iou": row["iou"],
})
for item in errors:
print(
f'{item["sample_id"]},{item["error_type"]},'
f'conf={item["confidence"]:.2f},iou={item["iou"]:.2f}'
)预期输出
img_002,false_positive,conf=0.72,iou=0.00
img_003,false_negative,conf=0.00,iou=0.00
img_004,low_confidence,conf=0.34,iou=0.66
img_005,localization_error,conf=0.81,iou=0.41实际项目中的阈值可能不同。应使用与评估阶段一致的 IoU、类别匹配和置信度规则,否则人工错误清单与离线指标会互相矛盾。
给样本补上可行动信息
错误清单至少应保留样本 ID、错误类型、预测类别、真实类别、置信度、IoU 和场景标签。人工复查后再补两列:root_cause 记录根因,例如“逆光导致边缘丢失”或“相似背景纹理误检”;action 记录下一步,例如“补采夜间样本”“修正框边界”或“单独调高该类别阈值”。
不要只按置信度从低到高查看。更有效的顺序通常是先看业务代价最高的错误类型,再看高频类别和高频场景,最后看接近阈值的边界样本。这样能优先处理真正影响上线效果的问题。
从错误清单回到训练闭环
当同一种错误在相同场景反复出现时,它就不再是孤立样本,而是数据分布或模型策略问题。多次漏检集中在远距离小目标,应补充相似尺寸样本并检查输入分辨率;误检集中在某类背景,应增加难负样本;定位偏差集中在某个类别,则先抽查标注一致性,再考虑训练参数。
一次有效的预测检查,最终产物不是“看过很多图片”,而是一份可以排序、复现并指向具体修复动作的错误清单。