智能制造与工业软件 / 系统课时

读取样张并输出初次检测结果

读取样张并输出初次检测结果

先用两张像素值固定的工件样张,打通图像读取、灰度转换、阈值分割、缺陷标记和 OK/NG 判定。运行后将得到原始样张、二值掩膜、检测标注图和 CSV 记录。所有输入与参数均固定,便于验证程序是否正确,并为后续接入工业相机建立可复现的检测基线。

学习目标

  • 使用 OpenCV 读取固定样张,完成灰度转换与 ROI 区域提取。
  • 根据灰度阈值和缺陷面积,输出可解释的 OK/NG 判定及位置标记。
  • 保存检测图像与 CSV 结果,检查程序输出是否符合预期。

固定样张与初次判定规则

本次使用 Python 3.11、OpenCV 和 NumPy,不依赖真实相机。程序首先生成两张 480×320 像素的模拟工件图:一张无缺陷,一张在固定位置带有深色圆形缺陷。随后重新从磁盘读取这两张图片,确保检测流程经过真实的文件读取操作。

设定工件表面灰度为 185,暗斑灰度为 45,背景灰度为 220。先通过固定 ROI 排除工件外部背景,再用反向二值化提取灰度较低的区域。判定参数如下:

参数 固定值 用途
图像尺寸 480×320 像素 保持坐标可复现
ROI 左上角 (80, 60) 检测区域起点
ROI 右下角 (399, 259) 检测区域终点
灰度阈值 90 灰度小于或等于 90 的像素视为暗区
最小缺陷面积 80 px² 过滤较小的连通区域
连通方式 8 邻域 将相邻暗色像素归为同一区域

判定规则为:ROI 内出现至少一个面积大于或等于 80 px² 的暗色连通区域,输出 NG;否则输出 OK。这里的 90 和 80 是为模拟样张设置的教学参数,不代表真实产品的质量验收标准。

需要注意,OpenCV 的数组切片不包含结束索引。代码中的 gray[60:260, 80:400] 实际覆盖 x=80~399、y=60~259,共 320×200 个像素。

运行完整的灰度阈值检测脚本

在 Python 3.11 环境中安装依赖,终端执行 python -m pip install opencv-python==4.10.0.84 numpy==1.26.4。安装完成后,在工作目录创建 vision_demo.py,写入以下完整程序。

程序分为样张准备与检测两部分。样张准备阶段只用于保证练习可重复;检测阶段使用 cv2.imread 读取 PNG 文件,之后进行灰度转换、二值化、连通区域统计和结果标记。

python
from pathlib import Path
import csv
import cv2
import numpy as np

OUTPUT_DIR = Path("vision_output")
OUTPUT_DIR.mkdir(exist_ok=True)


def make_sample(name: str, with_defect: bool) -> None:
    # 固定像素值,避免随机噪声影响基线检测结果。
    img = np.full((320, 480, 3), 220, dtype=np.uint8)
    cv2.rectangle(img, (70, 50), (410, 270), (185, 185, 185), -1)
    if with_defect:
        cv2.circle(img, (235, 170), 11, (45, 45, 45), -1)
    if not cv2.imwrite(str(OUTPUT_DIR / name), img):
        raise OSError("无法写入样张")


def inspect(name: str) -> tuple[str, int, int]:
    img = cv2.imread(str(OUTPUT_DIR / name), cv2.IMREAD_COLOR)
    if img is None:
        raise FileNotFoundError(OUTPUT_DIR / name)

    gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
    # ROI 位于工件内部,排除外部背景与工件边缘。
    roi = gray[60:260, 80:400]
    _, mask = cv2.threshold(roi, 90, 255, cv2.THRESH_BINARY_INV)

    count, _, stats, _ = cv2.connectedComponentsWithStats(
        mask, connectivity=8
    )
    # 标签 0 是背景,只筛选满足面积门槛的前景区域。
    ids = [
        i for i in range(1, count)
        if int(stats[i, cv2.CC_STAT_AREA]) >= 80
    ]

    for i in ids:
        x, y, w, h, _ = map(int, stats[i])
        # 连通域坐标相对于 ROI,需要转换为原图坐标。
        cv2.rectangle(
            img,
            (80 + x, 60 + y),
            (80 + x + w - 1, 60 + y + h - 1),
            (0, 0, 255), 2
        )

    status = "NG" if ids else "OK"
    cv2.rectangle(img, (80, 60), (399, 259), (255, 0, 0), 1)
    cv2.putText(
        img, status, (20, 35), cv2.FONT_HERSHEY_SIMPLEX, 0.9,
        (0, 0, 255) if ids else (0, 180, 0), 2
    )

    cv2.imwrite(str(OUTPUT_DIR / f"mask_{name}"), mask)
    cv2.imwrite(str(OUTPUT_DIR / f"marked_{name}"), img)
    total_area = sum(int(stats[i, cv2.CC_STAT_AREA]) for i in ids)
    return status, total_area, len(ids)


for name, flag in [("sample_ok.png", False), ("sample_ng.png", True)]:
    make_sample(name, flag)

rows = []
for name in ["sample_ok.png", "sample_ng.png"]:
    status, area, regions = inspect(name)
    rows.append((name, status, area, regions))
    print(f"{name}: {status}, area={area}, regions={regions}")

# 统一记录文件名、判定结果、有效缺陷总面积和区域数量。
with (OUTPUT_DIR / "results.csv").open(
    "w", encoding="utf-8", newline=""
) as stream:
    writer = csv.writer(stream)
    writer.writerow(("sample", "decision", "area_px", "regions"))
    writer.writerows(rows)

print("CSV: vision_output/results.csv")

保存脚本后,在其所在目录运行 python vision_demo.py。

预期输出:

text
sample_ok.png: OK, area=0, regions=0
sample_ng.png: NG, area=377, regions=1
CSV: vision_output/results.csv

程序没有使用随机数。NG 样张中的圆形暗斑由 cv2.circle 以半径 11 像素填充,实际形成 377 个前景像素,因此连通域面积为 377 px²,满足面积门槛。两张样张的结果应在重复运行时保持一致。

看懂从像素到 OK/NG 的判定过程

一张图像被读取后,首先通过灰度转换将三个颜色通道变成单通道。随后只保留 ROI 内的像素进行反向二值化:灰度不大于 90 的像素变成白色 255,其余像素变成黑色 0。这里的白色代表候选暗缺陷,而不是原始图像中的亮区。

连通域算法将二值掩膜中的相邻白色像素组成区域,并返回每个区域的外接矩形和面积。程序过滤小于 80 px² 的区域后,将剩余区域的坐标还原到原图,绘制红色缺陷框,最后输出 OK 或 NG。

固定工件样张从灰度阈值分割到OK与NG判定的数据处理流程

在这个样例中,OK 图像的 ROI 内全部为灰度 185,二值化后不存在前景区域。NG 图像除了圆形暗斑,其余工件区域仍为灰度 185,因此恰好识别出一个有效连通区域。

注意两个常见误判来源:一是 ROI 包含了工件外部的黑色背景或暗边,导致大面积假缺陷;二是直接统计所有低灰度像素,而不区分连通区域,使多个互不相连的小噪点累计触发 NG。本程序使用固定 ROI 和单区域面积过滤来避免这两种情况。

检查标注图片与 CSV 检测记录

执行完成后,工作目录下会出现 vision_output 文件夹。检查其中的原始样张、掩膜、结果图和记录文件,确认检测过程不仅给出了判定文字,还留下了能够人工复核的证据。

文件 应观察到的结果
sample_ok.png 浅灰工件,无深色缺陷
sample_ng.png 工件中部有一个深色圆斑
mask_sample_ok.png 全黑二值掩膜
mask_sample_ng.png 黑底上的一个白色圆形区域
marked_sample_ok.png 蓝色 ROI 框和绿色 OK
marked_sample_ng.png 蓝色 ROI 框、红色缺陷框和红色 NG
results.csv 两条检测记录及字段标题

results.csv 应包含如下内容:

csv
sample,decision,area_px,regions
sample_ok.png,OK,0,0
sample_ng.png,NG,377,1

其中 area_px 表示所有满足面积门槛的连通区域的像素面积之和,regions 表示有效区域数量。两者不能混用,例如一张图有两个各 100 px² 的独立缺陷时,面积合计为 200,但区域数量为 2。

可连续运行脚本三次并对比输出,预期每次均为一张 OK、一张 NG,CSV 内容不变。标注图只是在原始图像副本上叠加检测结果,不能反向作为下一次检测输入,否则标注颜色可能干扰阈值判断。

替换真实产线样张时的注意事项

验证模拟样张之后,可以删除脚本中调用 make_sample 的样张生成循环,将两张实际采集的工件照片按相同文件名放入 vision_output,继续使用 inspect 完成读取和检测。若真实图像分辨率不同,必须先调整 ROI 坐标,确保切片位于有效工件区域内。

现场采样至少检查以下条件:

  1. 成像一致性:固定相机位置、曝光、增益和光源亮度。同一合格工件的灰度变化应足够小,不应因阴影或反光被误判。
  2. 阈值适配:分别统计合格表面与真实缺陷的灰度分布。如果两类灰度明显重叠,不应直接沿用阈值 90,应先改善照明或改进检测算法。
  3. 面积适配:80 px² 只是模拟图像门槛。真实缺陷的像素面积取决于分辨率、视场和标定比例,不能直接等同于实际物理面积。
  4. 人工对照:准备至少 10 张人工确认的 OK 图和 10 张 NG 图,逐张检查输出。记录误报,即合格品被判 NG,以及漏检,即缺陷品被判 OK 的数量。

完成本次验证后,应能够用同一份脚本稳定重现两条不同的检测结果,并根据掩膜、连通域面积、原图标注和 CSV 记录解释每次 OK/NG 判定的依据。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

读取样张并输出初次检测结果

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通