计算机视觉 / 系统课时

处理多目标模板匹配

处理多目标模板匹配

多目标模板匹配不能只读取一个全局最优点,而要从整张得分矩阵中筛出多个高分候选,再把同一目标附近密集出现的重复框合并。本节用阈值筛选加非极大值抑制,得到稳定的目标列表。

学习目标

  • 从模板匹配得分矩阵中筛选多个候选位置
  • 使用 IoU 和非极大值抑制减少重复检测框
  • 根据误检、漏检和目标间距调整分数阈值与抑制阈值

从最佳点扩展到候选集合

单目标场景只关心最高分或最低分,多目标场景则需要保留所有达到阈值的位置。由于相邻滑动位置看到的图像内容高度相似,同一个真实目标周围常会形成一簇高分点,直接画框就会得到多个几乎重叠的矩形。

多目标模板匹配阈值筛选与 NMS

对高分优先的方法可用 result >= threshold 选点;若使用 TM_SQDIFF_NORMED,条件要反过来写成 result <= threshold。每个候选位置都可按模板宽高恢复成同尺寸矩形。

用阈值与 NMS 去重

下面在搜索图中放入三个完全相同的模板。故意把分数阈值设为 0.75,让每个目标周围产生多个候选框,再用 IoU 阈值 0.5 的贪心 NMS 只保留代表性最高的框。

python
import cv2
import numpy as np

def box_iou(a, b):
    ax, ay, aw, ah = a
    bx, by, bw, bh = b
    x1, y1 = max(ax, bx), max(ay, by)
    x2, y2 = min(ax + aw, bx + bw), min(ay + ah, by + bh)
    inter = max(0, x2 - x1) * max(0, y2 - y1)
    union = aw * ah + bw * bh - inter
    return inter / union if union else 0.0

def greedy_nms(boxes, scores, iou_threshold):
    order = list(np.argsort(scores)[::-1])
    keep = []

    while order:
        current = order.pop(0)
        keep.append(current)
        # 与当前高分框重叠过大的候选被视为重复框。
        order = [
            idx for idx in order
            if box_iou(boxes[current], boxes[idx]) < iou_threshold
        ]
    return keep

template = np.zeros((40, 50), dtype=np.uint8)
cv2.rectangle(template, (3, 3), (46, 36), 180, 2)
cv2.circle(template, (15, 20), 6, 255, -1)
cv2.line(template, (28, 10), (42, 30), 220, 3)

image = np.full((240, 360), 30, dtype=np.uint8)
for x, y in [(30, 40), (170, 60), (250, 160)]:
    image[y:y + 40, x:x + 50] = template

result = cv2.matchTemplate(image, template, cv2.TM_CCOEFF_NORMED)
ys, xs = np.where(result >= 0.75)

h, w = template.shape
boxes = [(int(x), int(y), w, h) for x, y in zip(xs, ys)]
scores = [float(result[y, x]) for x, y in zip(xs, ys)]

keep = greedy_nms(boxes, scores, iou_threshold=0.5)
positions = sorted((boxes[i][0], boxes[i][1]) for i in keep)

print("阈值候选数:", len(boxes))
print("NMS 后目标数:", len(positions))
print("保留位置:", positions)

预期输出

text
阈值候选数: 15
NMS 后目标数: 3
保留位置: [(30, 40), (170, 60), (250, 160)]

这里的 15 个候选并不表示存在 15 个目标,而是三个真实目标各自在相邻位置形成了高分响应。NMS 按分数从高到低处理,并删除与已保留框 IoU 过大的候选,因此最终恢复为三个目标。

调整两个关键阈值

分数阈值控制“候选是否进入后处理”。阈值过高会漏掉轻微变形、噪声或亮度变化后的真实目标;阈值过低则会增加背景误检,并显著增加后处理数量。

NMS 的 IoU 阈值控制“两个候选框多像才算重复”。阈值较低时抑制更激进,适合同一目标产生密集重复框的情况;阈值较高时保留更多相邻框,适合真实目标可能彼此靠近的场景。

验收多目标结果

调参时不要只看最终框数。应同时检查高分点是否集中在真实目标附近、每个真实目标是否至少保留一个框,以及背景区域是否出现稳定高分响应。模板尺寸、缩放和旋转仍是模板匹配的核心边界。

当目标外观固定且实例数量不确定时,“得分阈值筛选 + 重复框抑制”是最直接的多目标方案;如果目标尺度变化大或彼此遮挡严重,应改用多尺度搜索、特征匹配或目标检测模型。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

处理多目标模板匹配

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通