智能制造与工业软件 / 系统课时

用基准图差分暴露缺口和污点

用基准图差分暴露缺口和污点

同一工位上的合格工件可以保存一张标准灰度图,再与待检图逐像素比较。这里用可运行的 OpenCV 示例完成平移配准、绝对差分、二值筛选和缺陷定位,同时解释为什么几像素的错位就会让正常边缘被误判为缺口。

学习目标

  • 明确基准图差分所要求的成像一致性与配准条件。
  • 使用 OpenCV 找出缺口和污点的差分连通域。
  • 根据误报形态调整配准、灰度阈值和面积阈值。

基准图必须满足哪些条件

基准图应来自确认合格的实物,不是随意挑选的一帧。工位启动时固定相机、镜头、光源和夹具,锁定曝光、增益及焦距。待检图和基准图应有相同的分辨率、拍摄视角和检测区域;否则两张图相减,得到的首先是成像差异。

本例使用 320×200 的 8 位灰度图,背景灰度为 200、工件为 120,左上角有一处稳定圆形定位标记。人为加入右侧缺口与中部污点,再将待检图整体右移 4 像素、下移 3 像素,模拟输送定位偏移。

生产时建议先圈定工件 ROI,并在连续 30 张合格样本上观察差分噪声;如果正常边缘随时间漂移,优先检查机械定位、光源和曝光,而不是直接提高缺陷阈值。

配准为什么要放在差分之前

灰度差分定义为 D(x,y)=∣T(x,y)−R(x,y)∣D(x,y)=|T(x,y)-R(x,y)|,其中 RR 为基准图,TT 为配准后的待检图。8 位灰度下,差分值范围为 0~255。本例将差分值大于 35 的像素视为候选,再去掉面积不足 40 像素的区域。

若不配准,工件边缘平移 4 像素后会出现成对的亮条带,像是两侧都有缺损。正确顺序是先使用不易出现缺陷的定位区域求出偏移,再把待检图反向移动,最后生成差分掩膜。

配准前的边缘假缺陷和配准后定位出的缺口与污点

这里使用 cv2.matchTemplate 找定位标记,只处理平移。若工件会旋转、缩放或发生透视变化,应改用多定位点的仿射或透视配准,并通过残差检查配准质量,不能用平移去掩盖姿态变化。

用 OpenCV 跑通完整检测

准备 Python 3.10+、OpenCV 4.x 和 NumPy;缺少依赖时运行 python -m pip install opencv-python numpy。以下代码自行生成基准图和带缺陷的待检图,不依赖外部照片,可保存为 inspect_diff.py 后执行 python inspect_diff.py。

python
import cv2
import numpy as np

height, width = 200, 320
ref = np.full((height, width), 200, dtype=np.uint8)
cv2.rectangle(ref, (40, 30), (280, 170), 120, -1)
cv2.circle(ref, (60, 50), 7, 30, -1)  # 稳定定位标记

sample = ref.copy()
cv2.rectangle(sample, (270, 90), (280, 112), 200, -1)  # 边缘缺口
cv2.circle(sample, (170, 95), 8, 35, -1)  # 表面污点

shift = np.float32([[1, 0, 4], [0, 1, 3]])
raw = cv2.warpAffine(sample, shift, (width, height),
                     flags=cv2.INTER_NEAREST, borderValue=200)

# 在不含缺陷的定位区域匹配,估计待检图的平移量
ax, ay = 45, 35
template = ref[ay:ay + 35, ax:ax + 35]
scores = cv2.matchTemplate(raw, template, cv2.TM_SQDIFF_NORMED)
min_score, _, location, _ = cv2.minMaxLoc(scores)
if min_score > 0.1:
    raise RuntimeError("定位失败:不要继续输出合格判定")
dx, dy = location[0] - ax, location[1] - ay

aligned = cv2.warpAffine(
    raw, np.float32([[1, 0, -dx], [0, 1, -dy]]),
    (width, height), flags=cv2.INTER_NEAREST, borderValue=200
)
diff = cv2.absdiff(aligned, ref)
_, mask = cv2.threshold(diff, 35, 255, cv2.THRESH_BINARY)
kernel = cv2.getStructuringElement(cv2.MORPH_RECT, (3, 3))
mask = cv2.morphologyEx(mask, cv2.MORPH_OPEN, kernel)

# 过滤微小噪声,仅保留可复核的缺陷候选
count, _, stats, _ = cv2.connectedComponentsWithStats(mask, 8)
boxes = []
for index in range(1, count):
    x, y, w, h, area = stats[index]
    if area >= 40:
        boxes.append((int(x), int(y), int(w), int(h), int(area)))

overlay = cv2.cvtColor(aligned, cv2.COLOR_GRAY2BGR)
for x, y, w, h, area in boxes:
    cv2.rectangle(overlay, (x, y), (x + w - 1, y + h - 1),
                  (0, 0, 255), 2)

cv2.imwrite("reference.png", ref)
cv2.imwrite("raw.png", raw)
cv2.imwrite("aligned.png", aligned)
cv2.imwrite("diff_mask.png", mask)
cv2.imwrite("candidates.png", overlay)

print(f"估计位移: dx={dx}, dy={dy}")
print(f"缺陷候选数: {len(boxes)}")
for x, y, w, h, area in boxes:
    print(f"候选框: ({x}, {y}, {w}, {h}), 面积={area}")

预期输出:

text
估计位移: dx=4, dy=3
缺陷候选数: 2
候选框: (163, 88, 15, 15), 面积=193
候选框: (270, 90, 11, 23), 面积=253

打开 raw.png 与 aligned.png 核对轮廓位置,再查看 diff_mask.png 中两个白色区域、candidates.png 中两个红框。这里的像素框是候选定位结果,不代表已经完成缺陷类别判定;面积也不能直接当作毫米尺寸。

如何处理误报和漏检

观察到的现象 常见原因 可执行的修正
工件周围出现成对亮边 配准偏差 1~2 像素或存在旋转 检查定位标记残差;有旋转时改用仿射配准
大片区域同时变亮 曝光、反光或照明发生变化 锁定相机参数、改善漫射光,再重采基准图
细小缺口完全消失 3×3 开运算或面积 40 的门槛过大 保留原始差分图,分别尝试 1×1 无开运算与较小面积门槛
定位标记被污渍遮住 模板匹配失效 增加第二处定位标记;定位失败输出待复检,不判 OK

数值 35 和 40 只适用于本例,不能直接作为生产公差。实际应分别收集不少于 30 张正常图、覆盖最小允许缺陷附近的缺陷样张,在同一 ROI 上统计误报和漏检。缺口往往贴近工件边界,污点常位于内部,可按位置和形状分别设置门槛。

验收时至少检查三件事:正常样本不会只因位置偏移产生候选;已知缺口与污点都能被框出;定位失败能够明确报警。若合格品表面本身有随机纹理或强镜面反射,单张标准图差分可能不适合直接判定,应考虑多张正常样本的容差图或针对缺陷特征的专用检测方法。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

用基准图差分暴露缺口和污点

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通