智能制造与工业软件 / 系统课时

通过模板匹配定位工件偏移

通过模板匹配定位工件偏移

当传送带上的工件没有停在标准位置时,可以在参考图像中裁出具有辨识度的模板,再在当前图像中搜索最相似区域。本文用 OpenCV 得到匹配坐标、相关性分数和 X/Y 像素偏移,并说明什么时候不能直接相信结果。

学习目标

  • 能从标准工件图像选取模板,明确基准坐标与搜索范围。
  • 能用 cv2.matchTemplate 定位偏移,并核对预期输出。
  • 能把匹配分数与位置公差分开判定,识别旋转、缩放和光照带来的风险。

选模板并定义位置基准

以 480×320 的灰度图为例,标准帧中模板左上角为 (190,130),宽 100 像素、高 80 像素。模板内同时保留工件边界、矩形槽和圆形特征,避免只截取一片均匀灰色或重复螺孔:前者缺少纹理,后者容易在错误位置得到高分。

先确定参考模板的左上角 (x0,y0);当前帧匹配位置记为 (x1,y1)。像素偏移为 dx=x1-x0、dy=y1-y0。图像坐标从左上角起算,X 向右为正,Y 向下为正,所以向上移动 11 像素记为 dy=-11。

模板位置、搜索区域和相关性峰值的对应关系

搜索范围可限制在基准位置左右、上下各 35 像素,形成 (155,95) 到 (325,245) 的矩形搜索区域。限制范围能减少计算和背景误匹配,但工件超出该范围就可能找不到正确位置。

用归一化相关性找到峰值

OpenCV 4.x 的 cv2.matchTemplate 会让固定大小的模板逐位置滑过搜索图,生成分数矩阵。这里用 cv2.TM_CCOEFF_NORMED;有效非退化纹理下,越接近 1 代表局部灰度变化模式越相似。cv2.minMaxLoc 的最大值位置是搜索区域内的局部坐标,还要加上搜索区域左上角才能得到全图位置。

下面是可独立运行的 Python 示例,依赖 opencv-python 和 numpy,使用合成灰度图模拟工件从标准位置向右移动 18 像素、向上移动 11 像素。真实产线需将合成参考帧与当前帧替换成相机采集并完成相同预处理的图像。

python
import cv2
import numpy as np

height, width = 320, 480
reference = np.full((height, width), 30, dtype=np.uint8)
# 用不同灰度的边界、槽和圆孔构成非均匀模板。
cv2.rectangle(reference, (180, 120), (300, 220), 160, -1)
cv2.rectangle(reference, (198, 138), (223, 188), 70, -1)
cv2.circle(reference, (260, 165), 16, 235, -1)
cv2.line(reference, (190, 206), (284, 206), 110, 3)

x0, y0, w, h = 190, 130, 100, 80
template = reference[y0:y0 + h, x0:x0 + w]
shift = np.float32([[1, 0, 18], [0, 1, -11]])
current = cv2.warpAffine(
    reference, shift, (width, height),
    flags=cv2.INTER_NEAREST, borderValue=30
)

# 在基准点周围搜索,匹配结果需要还原成全图坐标。
margin = 35
left, top = max(0, x0 - margin), max(0, y0 - margin)
right = min(width, x0 + w + margin)
bottom = min(height, y0 + h + margin)
search = current[top:bottom, left:right]
scores = cv2.matchTemplate(search, template, cv2.TM_CCOEFF_NORMED)
_, confidence, _, location = cv2.minMaxLoc(scores)
x1, y1 = left + location[0], top + location[1]

print(f"score={confidence:.3f}")
print(f"matched_top_left=({x1}, {y1})")
print(f"offset=({x1-x0:+d}, {y1-y0:+d})")
print(f"decision={'LOCATED' if confidence >= 0.85 else 'RECHECK'}")

预期输出(OpenCV 4.x,以上合成图像):

text
score=1.000
matched_top_left=(208, 119)
offset=(+18, -11)
decision=LOCATED

分数图大小为 (150-80+1)×(170-100+1),即 71×71;峰值局部坐标为 (53,24)。加上搜索区域原点 (155,95),得到 (208,119)。注意 0.85 只是示例复核阈值,不是 OpenCV 规定的合格标准,也不是匹配正确的概率。

从定位结果到产线放行

模板匹配得到的是工件相对参考姿态的平移量,不是直接测出了孔径、平行度等几何尺寸。若相机已完成畸变校正,且在测量平面上标定得到两个方向均为 0.05 mm/px,本例对应 dx=+0.90 mm、dy=-0.55 mm。

假设工装要求 X、Y 两方向相对基准的偏移绝对值都不超过 0.80 mm,那么 X 超限,判定为位置 NG;Y 在范围内。实际放行规则应先检查 confidence 是否达到产线验证确定的阈值,再检查偏移公差;低分结果标为定位失败或待复检,不能直接当成尺寸 NG。

若零件高度变化、相机有透视或标定比例随位置变化,不能直接用统一的 mm/px 换算。此时先做相机标定、平面矫正或使用局部坐标映射,再计算物理偏移。

处理旋转、尺度和光照干扰

固定模板只做平移搜索,不会自动估计角度或缩放。工件旋转 5° 或距离相机变化导致放大时,即使中心位置正确,相关性也可能明显下降。对于小幅可控变化,可离线准备多角度、多尺度模板分别匹配,再验证最佳候选;候选的尺寸与旋转必须同步换算坐标,不能拿局部模板左上角直接当统一基准。

TM_CCOEFF_NORMED 对整体亮度加减或正比例变化有一定抵抗力,但无法可靠消除局部反光、阴影、模糊与遮挡。优先固定曝光、光源和工件高度,并避开饱和反光区。重复孔、周期性纹理容易产生多个高峰,应缩小搜索区域、增加不对称特征,并用轮廓或几何约束复核。

上线前至少采集正常位置、允许极限偏移、超差、旋转与反光样本,分别统计正确定位率和误定位率,再确定分数阈值与复检策略。合成图的 1.000 只证明代码和坐标换算正确,不能代替真实产线验收。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

通过模板匹配定位工件偏移

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通