计算机视觉 / 系统课时

检查预测样本

检查预测样本

模型指标只能告诉你“整体好不好”,不能直接说明“错在哪里”。本节用一份最小预测记录把误检、漏检、定位偏差和低置信度样本筛出来,再整理成可复查的错误清单,方便后续回到数据、标注或阈值设置逐项修正。

学习目标

  • 能按误检、漏检、定位偏差和低置信度筛选预测样本
  • 能为每条错误记录保留置信度、IoU 和场景备注等复查信息
  • 能把错误清单转化为数据修正、阈值调整或补充采样动作

先定义要检查的错误

人工检查不要从“随机翻预测图”开始,而应先统一错误口径。最常见的四类问题分别对应不同修复方向:误检通常与背景干扰或阈值有关,漏检通常与样本覆盖不足有关,定位偏差常指向框标注或尺度问题,低置信度则说明模型虽然找到了目标,但判断不稳定。

对目标检测任务,可先用以下最小规则建立错误池:真实目标存在但没有预测框记为漏检;真实目标不存在却产生预测框记为误检;预测与真实框匹配但 IoU 低于阈值记为定位偏差;匹配正确但置信度低于业务阈值记为低置信度。真实项目还应按类别进行一对一匹配,并以实际 NMS 输出为准。

生成错误分析清单

下面的示例使用一组已经完成匹配的预测记录。它不依赖第三方库,重点演示如何把错误类型、置信度和 IoU 统一整理成可排序清单。

python
records = [
    {"sample_id": "img_001", "gt": True,  "pred": True,  "confidence": 0.91, "iou": 0.78},
    {"sample_id": "img_002", "gt": False, "pred": True,  "confidence": 0.72, "iou": 0.00},
    {"sample_id": "img_003", "gt": True,  "pred": False, "confidence": 0.00, "iou": 0.00},
    {"sample_id": "img_004", "gt": True,  "pred": True,  "confidence": 0.34, "iou": 0.66},
    {"sample_id": "img_005", "gt": True,  "pred": True,  "confidence": 0.81, "iou": 0.41},
]

confidence_threshold = 0.50
iou_threshold = 0.50

def classify(row):
    if row["gt"] and not row["pred"]:
        return "false_negative"
    if not row["gt"] and row["pred"]:
        return "false_positive"
    if row["gt"] and row["pred"] and row["iou"] < iou_threshold:
        return "localization_error"
    if row["pred"] and row["confidence"] < confidence_threshold:
        return "low_confidence"
    return "correct"

errors = []
for row in records:
    error_type = classify(row)
    if error_type != "correct":
        errors.append({
            "sample_id": row["sample_id"],
            "error_type": error_type,
            "confidence": row["confidence"],
            "iou": row["iou"],
        })

for item in errors:
    print(
        f'{item["sample_id"]},{item["error_type"]},'
        f'conf={item["confidence"]:.2f},iou={item["iou"]:.2f}'
    )

预期输出

text
img_002,false_positive,conf=0.72,iou=0.00
img_003,false_negative,conf=0.00,iou=0.00
img_004,low_confidence,conf=0.34,iou=0.66
img_005,localization_error,conf=0.81,iou=0.41

实际项目中的阈值可能不同。应使用与评估阶段一致的 IoU、类别匹配和置信度规则,否则人工错误清单与离线指标会互相矛盾。

给样本补上可行动信息

错误清单至少应保留样本 ID、错误类型、预测类别、真实类别、置信度、IoU 和场景标签。人工复查后再补两列:root_cause 记录根因,例如“逆光导致边缘丢失”或“相似背景纹理误检”;action 记录下一步,例如“补采夜间样本”“修正框边界”或“单独调高该类别阈值”。

不要只按置信度从低到高查看。更有效的顺序通常是先看业务代价最高的错误类型,再看高频类别和高频场景,最后看接近阈值的边界样本。这样能优先处理真正影响上线效果的问题。

从错误清单回到训练闭环

当同一种错误在相同场景反复出现时,它就不再是孤立样本,而是数据分布或模型策略问题。多次漏检集中在远距离小目标,应补充相似尺寸样本并检查输入分辨率;误检集中在某类背景,应增加难负样本;定位偏差集中在某个类别,则先抽查标注一致性,再考虑训练参数。

一次有效的预测检查,最终产物不是“看过很多图片”,而是一份可以排序、复现并指向具体修复动作的错误清单。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

检查预测样本

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通