智能制造与工业软件 / 系统课时

用 ROI 和连通域筛出候选工件

用 ROI 和连通域筛出候选工件

当画面中同时存在工件、传送带纹理、反光区域和零散噪点时,直接对整幅图像提取目标容易产生大量伪目标。本课使用感兴趣区域(ROI)缩小检测范围,再通过连通域的面积、位置和形状筛选候选工件,为后续尺寸测量提供可靠的区域坐标。

学习目标

  • 能根据工件实际位置定义并裁剪 ROI,理解图像坐标与 ROI 局部坐标的关系。
  • 能运行连通域分析,提取每个区域的面积、外接框、质心和形状指标。
  • 能使用明确的阈值排除背景噪点,并验证候选区域是否适合后续测量。

先限定 ROI,再处理二值图像

ROI 是图像中需要重点检测的矩形区域。在传送带检测中,如果工件只会出现在画面中央的 320×220 像素范围,就没有必要分析四周的设备边框和无关背景。限定 ROI 可以减少计算量,也能降低背景伪目标进入候选集的概率,但不能替代后续筛选。

假设原始图像尺寸为 640×480,ROI 左上角为 (160, 100),宽 320、高 220,则 ROI 覆盖原图的 x=160~479、y=100~319。OpenCV 的 NumPy 切片终点不包含在内,因此裁剪时使用 image[100:320, 160:480]。

原图 ROI 裁剪与坐标映射示意图

进入连通域分析之前,需要先把灰度图转换成前景与背景分明的二值掩膜。例如,若工件比传送带暗,可根据标定样张选用反向二值阈值;若工件比背景亮,则使用普通二值阈值。下例采用固定阈值 100,仅用于演示,生产阈值应依据实际曝光、照明和灰度分布标定。

用连通域提取区域属性

连通域分析会将二值图中彼此连通的前景像素归为同一区域。OpenCV 的 connectedComponentsWithStats 可以直接返回标签图、每个区域的统计信息和质心。默认连通性为 8 邻域,即像素在水平、垂直或对角方向相邻时也可能归入同一个区域。

下面示例依赖 Python、NumPy 和 OpenCV 4.x。输入是一张已经稳定成像的灰度图,文件路径由运行环境提供;程序在 ROI 中进行阈值分割,再统计连通域并按面积、位置和宽高比筛选。面积阈值和尺寸限制是示例参数,须按具体工件标定。

python
import cv2
import numpy as np

image = cv2.imread("sample.png", cv2.IMREAD_GRAYSCALE)
if image is None:
    raise FileNotFoundError("无法读取 sample.png")

# 限定检测范围,切片终点不包含在 ROI 内。
roi_x, roi_y, roi_w, roi_h = 160, 100, 320, 220
roi = image[roi_y:roi_y + roi_h, roi_x:roi_x + roi_w]
if roi.size == 0 or roi.shape != (roi_h, roi_w):
    raise ValueError("ROI 超出图像范围")

# 示例假定工件比背景暗;固定阈值应根据实测灰度调整。
_, mask = cv2.threshold(roi, 100, 255, cv2.THRESH_BINARY_INV)
count, labels, stats, centroids = cv2.connectedComponentsWithStats(
    mask, connectivity=8
)

candidates = []
for label in range(1, count):  # 标签0是背景,不作为候选工件。
    x, y, w, h, area = stats[label]
    cx, cy = centroids[label]
    aspect = w / h if h > 0 else 0.0

    if not (500 <= area <= 20000):
        continue
    if not (20 <= w <= 200 and 20 <= h <= 180):
        continue
    if not (0.5 <= aspect <= 2.0):
        continue

    candidates.append({
        "area": int(area),
        "bbox": (int(x + roi_x), int(y + roi_y), int(w), int(h)),
        "centroid": (round(float(cx + roi_x), 2),
                     round(float(cy + roi_y), 2)),
        "aspect": round(float(aspect), 3),
    })

print(f"连通域总数(含背景): {count}")
print(f"候选工件数: {len(candidates)}")
for item in candidates:
    print(item)

预期结果:程序输出连通域总数和候选工件数量,随后逐个输出通过条件的区域属性。具体数量与坐标取决于 sample.png 的实际内容;示例不预设固定检测结果。若输入不是暗色工件,应调整阈值极性,避免把背景误判为前景。

stats 每行对应一个标签,包含左上角横纵坐标、宽、高和像素面积;centroids 给出质心坐标。它们返回的坐标相对于 ROI,因此示例将左上角偏移 (160, 100) 加回,得到原图坐标,避免后续测量位置错位。

按面积、位置和形状排除伪目标

单一面积阈值不足以识别工件。一个较大的阴影可能通过面积筛选,细长划痕也可能与工件连通。因此需要把候选区域的几何属性组合起来,并为每项规则规定可测量的范围。

筛选条件 示例规则 主要排除对象
面积 area 500~20000 像素 小碎点、过大的背景连片
外接框宽高 宽 20~200、高 20~180 像素 极小噪声、异常大区域
宽高比 w/h 0.5~2.0 明显细长的线状干扰
质心位置 必须处于标定后的有效区域 ROI 边缘或不可能出现的目标

实际位置筛选应基于工位布局设置。例如,若工件质心只能出现在 ROI 局部坐标 x=40~280、y=20~200,就可以按该范围剔除边缘干扰。注意代码中的外接框已转换为原图坐标,而位置规则若在 ROI 内定义,就应使用未加偏移的局部质心进行判断,不能混用两套坐标系。

形状判断也需要结合产品外形。矩形工件可以使用宽高比和矩形度;圆形工件则更适合使用面积与外接框尺寸的关系,必要时再计算圆度。二值掩膜存在缺口或多个工件相接时,连通域只描述当前连通关系,并不保证一个区域对应一个真实工件。

检查候选结果是否可信

候选区域必须经过可视化和数量检查,不能只看程序是否运行成功。建议在调试图上同时绘制 ROI 边框、候选外接框、质心和标签,并保留未通过筛选的区域用于诊断。抽取正常件、空背景、反光件和相邻工件等样本,逐类核对结果。

连通域候选筛选前后对比图

验收时至少确认以下情况:背景为空时没有候选工件;正常单件被稳定保留;小碎点和细长干扰能够剔除;工件靠近 ROI 边缘时不会因坐标偏移而错判;相邻工件粘连时能被发现,而不是被误认为一个正常目标。

如果两个工件在二值图中相连,面积与宽高阈值可能只能筛出一个合并区域。此时应先检查照明、阈值和形态学处理是否造成粘连,再根据工件间隙选择距离变换与分水岭等分离方法。若真实工件被阴影切成多个区域,则应改善成像或谨慎使用形态学闭运算,避免为了减少碎片而把相邻工件合并。

将候选区域交给后续测量

通过筛选后,应至少保留原图坐标系下的外接框、质心和面积。后续测量可以根据外接框裁剪局部图像,也可以在原始二值掩膜中提取候选轮廓,再结合相机标定参数将像素长度换算为毫米。连通域面积是前景像素数量,不等于工件的物理面积;外接框也不一定贴合倾斜工件的真实轮廓。

当候选数量为零或明显超出单次检测的预期时,不应直接输出 OK。应将该帧标记为待复核或检测失败,并记录阈值、ROI、候选数量和图像帧号。只有在候选区域位置、形状和数量符合工位规则后,才进入尺寸测量与最终产线判定。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

用 ROI 和连通域筛出候选工件

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通