机器学习与深度学习 / 系统课时

目标检测

目标检测

整图分类可以判断图里有汽车。目标检测还需要为每辆车给出一个框、类别和分数。本课分别核对模型坐标、候选去重和评估定位的规则。

学习目标

  • 识别检测结果的框格式、坐标系、类别和分数。
  • 计算交并比(IoU),理解按类执行的非极大值抑制(NMS)。
  • 区分候选过滤、框去重和与真实框匹配的三种阈值。

先对齐坐标系

常见框格式包括 xyxy(左上与右下)、xywh(左上与宽高)及中心点加宽高。有的接口用像素,有的使用 0 到 1 的归一化坐标。还要确认坐标属于原图、缩放图还是填充后模型输入。本文用连续的 xyxy 边界,宽度为 x2-x1、高度为 y2-y1。只有旧接口明确采用包含端点的整数约定时才用不同公式。 Torchvision 框 IoU 接口

目标检测从整图到多个边界框与类别的关系

例如原图为宽 640、高 360。等比缩小到宽 320、高 180,再在上下各填充 70 像素到 320 × 320。模型输入中的 (50,100,150,200),去掉填充再除以缩放比例 0.5,回到原图的 (100,60,300,260)。真实系统保存实际缩放和左右上下偏移,考虑取整、裁切与出界框,统一坐标后再叠图和评估。

重叠、分数和去重

IoU 等于交集面积除以并集面积。两框不重叠或只有边界接触时 IoU 为 0,相同的有效框 IoU 为 1。无宽高的框应先拒绝或按接口约定处理。检测分数可以来自类别概率、目标存在性或定位质量等组合,具体由模型定义。高分并不保证框贴合,也不代表可跨模型直接比较。

按类的贪心 NMS 先按分数排序,保留当前最高分框,再去掉同类中与它的 IoU 大于阈值的较低优先级框。不同类可以保留重叠框。相邻目标密集时,高重叠可能来自两个真实对象,NMS 也可能删掉其中一个。某些检测模型采用不同去重机制或无需 NMS。 Torchvision 按类 NMS

可运行示例:同类去重与跨类保留

下面用标准库模拟已经完成低分过滤的四个框,所有坐标在同一空间。本例分数相同会保留输入顺序。不同库或设备对同分候选的选择未必相同。

python
from math import isfinite


def area(box):
    x1, y1, x2, y2 = box
    if not all(isfinite(value) for value in box) or x2 <= x1 or y2 <= y1:
        raise ValueError("expected positive xyxy box")
    return (x2 - x1) * (y2 - y1)


def iou(left, right):
    overlap_w = max(0, min(left[2], right[2]) - max(left[0], right[0]))
    overlap_h = max(0, min(left[3], right[3]) - max(left[1], right[1]))
    intersection = overlap_w * overlap_h
    return intersection / (area(left) + area(right) - intersection)


def classwise_nms(detections, threshold):
    if not 0 <= threshold <= 1:
        raise ValueError("NMS threshold must be between zero and one")
    kept = []
    for item in sorted(detections, key=lambda item: item[2], reverse=True):
        _, label, _, box = item
        area(box)
        if not any(label == saved[1] and iou(box, saved[3]) > threshold for saved in kept):
            kept.append(item)
    return kept


def undo_resize(box, scale, pad_x, pad_y):
    area(box)
    if not isfinite(scale) or scale <= 0:
        raise ValueError("resize scale must be positive and finite")
    return tuple((value - pad) / scale
                 for value, pad in zip(box, (pad_x, pad_y, pad_x, pad_y)))


detections = [
    ("a", "car", 0.94, (0, 0, 100, 100)),
    ("b", "car", 0.83, (10, 10, 100, 100)),
    ("c", "bicycle", 0.80, (10, 10, 100, 100)),
    ("d", "car", 0.75, (200, 0, 300, 100)),
]
print(f"a/b IoU={iou(detections[0][3], detections[1][3]):.2f}")
print("kept:", [item[0] for item in classwise_nms(detections, 0.5)])
print("original box:", undo_resize((50, 100, 150, 200), 0.5, 0, 70))
text
a/b IoU=0.81
kept: ['a', 'c', 'd']
original box: (100.0, 60.0, 300.0, 260.0)

评估时与标注框匹配

分数阈值决定保留哪些候选,NMS 的 IoU 阈值比较两个预测框,评估的 IoU 阈值比较预测与标注。常见评估在同类中按预测分数匹配框,并对普通非拥挤标注实施一对一匹配。重复预测可能成为误报。AP 依评估协议汇总精确率与召回率。以 COCO 的标准框 AP 为例,它在 0.50 到 0.95、步长 0.05 的多个 IoU 阈值上汇总;报告还应注明面积范围、每图检测上限及忽略标注规则。 COCO 官方评估实现

本课练习

用两框刚好接触的例子验证 IoU 为 0,再比较把 NMS 阈值调到 0.85 后保留的结果。若框无法表达同类对象轮廓或需要逐像素编辑,下一课使用掩码。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

目标检测

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通