计算机视觉 / 系统课时
处理多目标模板匹配
处理多目标模板匹配
多目标模板匹配不能只读取一个全局最优点,而要从整张得分矩阵中筛出多个高分候选,再把同一目标附近密集出现的重复框合并。本节用阈值筛选加非极大值抑制,得到稳定的目标列表。
学习目标
- 从模板匹配得分矩阵中筛选多个候选位置
- 使用 IoU 和非极大值抑制减少重复检测框
- 根据误检、漏检和目标间距调整分数阈值与抑制阈值
从最佳点扩展到候选集合
单目标场景只关心最高分或最低分,多目标场景则需要保留所有达到阈值的位置。由于相邻滑动位置看到的图像内容高度相似,同一个真实目标周围常会形成一簇高分点,直接画框就会得到多个几乎重叠的矩形。

对高分优先的方法可用 result >= threshold 选点;若使用 TM_SQDIFF_NORMED,条件要反过来写成 result <= threshold。每个候选位置都可按模板宽高恢复成同尺寸矩形。
用阈值与 NMS 去重
下面在搜索图中放入三个完全相同的模板。故意把分数阈值设为 0.75,让每个目标周围产生多个候选框,再用 IoU 阈值 0.5 的贪心 NMS 只保留代表性最高的框。
import cv2
import numpy as np
def box_iou(a, b):
ax, ay, aw, ah = a
bx, by, bw, bh = b
x1, y1 = max(ax, bx), max(ay, by)
x2, y2 = min(ax + aw, bx + bw), min(ay + ah, by + bh)
inter = max(0, x2 - x1) * max(0, y2 - y1)
union = aw * ah + bw * bh - inter
return inter / union if union else 0.0
def greedy_nms(boxes, scores, iou_threshold):
order = list(np.argsort(scores)[::-1])
keep = []
while order:
current = order.pop(0)
keep.append(current)
# 与当前高分框重叠过大的候选被视为重复框。
order = [
idx for idx in order
if box_iou(boxes[current], boxes[idx]) < iou_threshold
]
return keep
template = np.zeros((40, 50), dtype=np.uint8)
cv2.rectangle(template, (3, 3), (46, 36), 180, 2)
cv2.circle(template, (15, 20), 6, 255, -1)
cv2.line(template, (28, 10), (42, 30), 220, 3)
image = np.full((240, 360), 30, dtype=np.uint8)
for x, y in [(30, 40), (170, 60), (250, 160)]:
image[y:y + 40, x:x + 50] = template
result = cv2.matchTemplate(image, template, cv2.TM_CCOEFF_NORMED)
ys, xs = np.where(result >= 0.75)
h, w = template.shape
boxes = [(int(x), int(y), w, h) for x, y in zip(xs, ys)]
scores = [float(result[y, x]) for x, y in zip(xs, ys)]
keep = greedy_nms(boxes, scores, iou_threshold=0.5)
positions = sorted((boxes[i][0], boxes[i][1]) for i in keep)
print("阈值候选数:", len(boxes))
print("NMS 后目标数:", len(positions))
print("保留位置:", positions)预期输出
阈值候选数: 15
NMS 后目标数: 3
保留位置: [(30, 40), (170, 60), (250, 160)]这里的 15 个候选并不表示存在 15 个目标,而是三个真实目标各自在相邻位置形成了高分响应。NMS 按分数从高到低处理,并删除与已保留框 IoU 过大的候选,因此最终恢复为三个目标。
调整两个关键阈值
分数阈值控制“候选是否进入后处理”。阈值过高会漏掉轻微变形、噪声或亮度变化后的真实目标;阈值过低则会增加背景误检,并显著增加后处理数量。
NMS 的 IoU 阈值控制“两个候选框多像才算重复”。阈值较低时抑制更激进,适合同一目标产生密集重复框的情况;阈值较高时保留更多相邻框,适合真实目标可能彼此靠近的场景。
验收多目标结果
调参时不要只看最终框数。应同时检查高分点是否集中在真实目标附近、每个真实目标是否至少保留一个框,以及背景区域是否出现稳定高分响应。模板尺寸、缩放和旋转仍是模板匹配的核心边界。
当目标外观固定且实例数量不确定时,“得分阈值筛选 + 重复框抑制”是最直接的多目标方案;如果目标尺度变化大或彼此遮挡严重,应改用多尺度搜索、特征匹配或目标检测模型。