智能制造与工业软件 / 系统课时
用基准图差分暴露缺口和污点
用基准图差分暴露缺口和污点
同一工位上的合格工件可以保存一张标准灰度图,再与待检图逐像素比较。这里用可运行的 OpenCV 示例完成平移配准、绝对差分、二值筛选和缺陷定位,同时解释为什么几像素的错位就会让正常边缘被误判为缺口。
学习目标
- 明确基准图差分所要求的成像一致性与配准条件。
- 使用 OpenCV 找出缺口和污点的差分连通域。
- 根据误报形态调整配准、灰度阈值和面积阈值。
基准图必须满足哪些条件
基准图应来自确认合格的实物,不是随意挑选的一帧。工位启动时固定相机、镜头、光源和夹具,锁定曝光、增益及焦距。待检图和基准图应有相同的分辨率、拍摄视角和检测区域;否则两张图相减,得到的首先是成像差异。
本例使用 320×200 的 8 位灰度图,背景灰度为 200、工件为 120,左上角有一处稳定圆形定位标记。人为加入右侧缺口与中部污点,再将待检图整体右移 4 像素、下移 3 像素,模拟输送定位偏移。
生产时建议先圈定工件 ROI,并在连续 30 张合格样本上观察差分噪声;如果正常边缘随时间漂移,优先检查机械定位、光源和曝光,而不是直接提高缺陷阈值。
配准为什么要放在差分之前
灰度差分定义为 ,其中 为基准图, 为配准后的待检图。8 位灰度下,差分值范围为 0~255。本例将差分值大于 35 的像素视为候选,再去掉面积不足 40 像素的区域。
若不配准,工件边缘平移 4 像素后会出现成对的亮条带,像是两侧都有缺损。正确顺序是先使用不易出现缺陷的定位区域求出偏移,再把待检图反向移动,最后生成差分掩膜。

这里使用 cv2.matchTemplate 找定位标记,只处理平移。若工件会旋转、缩放或发生透视变化,应改用多定位点的仿射或透视配准,并通过残差检查配准质量,不能用平移去掩盖姿态变化。
用 OpenCV 跑通完整检测
准备 Python 3.10+、OpenCV 4.x 和 NumPy;缺少依赖时运行 python -m pip install opencv-python numpy。以下代码自行生成基准图和带缺陷的待检图,不依赖外部照片,可保存为 inspect_diff.py 后执行 python inspect_diff.py。
import cv2
import numpy as np
height, width = 200, 320
ref = np.full((height, width), 200, dtype=np.uint8)
cv2.rectangle(ref, (40, 30), (280, 170), 120, -1)
cv2.circle(ref, (60, 50), 7, 30, -1) # 稳定定位标记
sample = ref.copy()
cv2.rectangle(sample, (270, 90), (280, 112), 200, -1) # 边缘缺口
cv2.circle(sample, (170, 95), 8, 35, -1) # 表面污点
shift = np.float32([[1, 0, 4], [0, 1, 3]])
raw = cv2.warpAffine(sample, shift, (width, height),
flags=cv2.INTER_NEAREST, borderValue=200)
# 在不含缺陷的定位区域匹配,估计待检图的平移量
ax, ay = 45, 35
template = ref[ay:ay + 35, ax:ax + 35]
scores = cv2.matchTemplate(raw, template, cv2.TM_SQDIFF_NORMED)
min_score, _, location, _ = cv2.minMaxLoc(scores)
if min_score > 0.1:
raise RuntimeError("定位失败:不要继续输出合格判定")
dx, dy = location[0] - ax, location[1] - ay
aligned = cv2.warpAffine(
raw, np.float32([[1, 0, -dx], [0, 1, -dy]]),
(width, height), flags=cv2.INTER_NEAREST, borderValue=200
)
diff = cv2.absdiff(aligned, ref)
_, mask = cv2.threshold(diff, 35, 255, cv2.THRESH_BINARY)
kernel = cv2.getStructuringElement(cv2.MORPH_RECT, (3, 3))
mask = cv2.morphologyEx(mask, cv2.MORPH_OPEN, kernel)
# 过滤微小噪声,仅保留可复核的缺陷候选
count, _, stats, _ = cv2.connectedComponentsWithStats(mask, 8)
boxes = []
for index in range(1, count):
x, y, w, h, area = stats[index]
if area >= 40:
boxes.append((int(x), int(y), int(w), int(h), int(area)))
overlay = cv2.cvtColor(aligned, cv2.COLOR_GRAY2BGR)
for x, y, w, h, area in boxes:
cv2.rectangle(overlay, (x, y), (x + w - 1, y + h - 1),
(0, 0, 255), 2)
cv2.imwrite("reference.png", ref)
cv2.imwrite("raw.png", raw)
cv2.imwrite("aligned.png", aligned)
cv2.imwrite("diff_mask.png", mask)
cv2.imwrite("candidates.png", overlay)
print(f"估计位移: dx={dx}, dy={dy}")
print(f"缺陷候选数: {len(boxes)}")
for x, y, w, h, area in boxes:
print(f"候选框: ({x}, {y}, {w}, {h}), 面积={area}")预期输出:
估计位移: dx=4, dy=3
缺陷候选数: 2
候选框: (163, 88, 15, 15), 面积=193
候选框: (270, 90, 11, 23), 面积=253打开 raw.png 与 aligned.png 核对轮廓位置,再查看 diff_mask.png 中两个白色区域、candidates.png 中两个红框。这里的像素框是候选定位结果,不代表已经完成缺陷类别判定;面积也不能直接当作毫米尺寸。
如何处理误报和漏检
| 观察到的现象 | 常见原因 | 可执行的修正 |
|---|---|---|
| 工件周围出现成对亮边 | 配准偏差 1~2 像素或存在旋转 | 检查定位标记残差;有旋转时改用仿射配准 |
| 大片区域同时变亮 | 曝光、反光或照明发生变化 | 锁定相机参数、改善漫射光,再重采基准图 |
| 细小缺口完全消失 | 3×3 开运算或面积 40 的门槛过大 | 保留原始差分图,分别尝试 1×1 无开运算与较小面积门槛 |
| 定位标记被污渍遮住 | 模板匹配失效 | 增加第二处定位标记;定位失败输出待复检,不判 OK |
数值 35 和 40 只适用于本例,不能直接作为生产公差。实际应分别收集不少于 30 张正常图、覆盖最小允许缺陷附近的缺陷样张,在同一 ROI 上统计误报和漏检。缺口往往贴近工件边界,污点常位于内部,可按位置和形状分别设置门槛。
验收时至少检查三件事:正常样本不会只因位置偏移产生候选;已知缺口与污点都能被框出;定位失败能够明确报警。若合格品表面本身有随机纹理或强镜面反射,单张标准图差分可能不适合直接判定,应考虑多张正常样本的容差图或针对缺陷特征的专用检测方法。