智能制造与工业软件 / 系统课时
读取样张并输出初次检测结果
读取样张并输出初次检测结果
先用两张像素值固定的工件样张,打通图像读取、灰度转换、阈值分割、缺陷标记和 OK/NG 判定。运行后将得到原始样张、二值掩膜、检测标注图和 CSV 记录。所有输入与参数均固定,便于验证程序是否正确,并为后续接入工业相机建立可复现的检测基线。
学习目标
- 使用 OpenCV 读取固定样张,完成灰度转换与 ROI 区域提取。
- 根据灰度阈值和缺陷面积,输出可解释的 OK/NG 判定及位置标记。
- 保存检测图像与 CSV 结果,检查程序输出是否符合预期。
固定样张与初次判定规则
本次使用 Python 3.11、OpenCV 和 NumPy,不依赖真实相机。程序首先生成两张 480×320 像素的模拟工件图:一张无缺陷,一张在固定位置带有深色圆形缺陷。随后重新从磁盘读取这两张图片,确保检测流程经过真实的文件读取操作。
设定工件表面灰度为 185,暗斑灰度为 45,背景灰度为 220。先通过固定 ROI 排除工件外部背景,再用反向二值化提取灰度较低的区域。判定参数如下:
| 参数 | 固定值 | 用途 |
|---|---|---|
| 图像尺寸 | 480×320 像素 | 保持坐标可复现 |
| ROI 左上角 | (80, 60) | 检测区域起点 |
| ROI 右下角 | (399, 259) | 检测区域终点 |
| 灰度阈值 | 90 | 灰度小于或等于 90 的像素视为暗区 |
| 最小缺陷面积 | 80 px² | 过滤较小的连通区域 |
| 连通方式 | 8 邻域 | 将相邻暗色像素归为同一区域 |
判定规则为:ROI 内出现至少一个面积大于或等于 80 px² 的暗色连通区域,输出 NG;否则输出 OK。这里的 90 和 80 是为模拟样张设置的教学参数,不代表真实产品的质量验收标准。
需要注意,OpenCV 的数组切片不包含结束索引。代码中的 gray[60:260, 80:400] 实际覆盖 x=80~399、y=60~259,共 320×200 个像素。
运行完整的灰度阈值检测脚本
在 Python 3.11 环境中安装依赖,终端执行 python -m pip install opencv-python==4.10.0.84 numpy==1.26.4。安装完成后,在工作目录创建 vision_demo.py,写入以下完整程序。
程序分为样张准备与检测两部分。样张准备阶段只用于保证练习可重复;检测阶段使用 cv2.imread 读取 PNG 文件,之后进行灰度转换、二值化、连通区域统计和结果标记。
from pathlib import Path
import csv
import cv2
import numpy as np
OUTPUT_DIR = Path("vision_output")
OUTPUT_DIR.mkdir(exist_ok=True)
def make_sample(name: str, with_defect: bool) -> None:
# 固定像素值,避免随机噪声影响基线检测结果。
img = np.full((320, 480, 3), 220, dtype=np.uint8)
cv2.rectangle(img, (70, 50), (410, 270), (185, 185, 185), -1)
if with_defect:
cv2.circle(img, (235, 170), 11, (45, 45, 45), -1)
if not cv2.imwrite(str(OUTPUT_DIR / name), img):
raise OSError("无法写入样张")
def inspect(name: str) -> tuple[str, int, int]:
img = cv2.imread(str(OUTPUT_DIR / name), cv2.IMREAD_COLOR)
if img is None:
raise FileNotFoundError(OUTPUT_DIR / name)
gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
# ROI 位于工件内部,排除外部背景与工件边缘。
roi = gray[60:260, 80:400]
_, mask = cv2.threshold(roi, 90, 255, cv2.THRESH_BINARY_INV)
count, _, stats, _ = cv2.connectedComponentsWithStats(
mask, connectivity=8
)
# 标签 0 是背景,只筛选满足面积门槛的前景区域。
ids = [
i for i in range(1, count)
if int(stats[i, cv2.CC_STAT_AREA]) >= 80
]
for i in ids:
x, y, w, h, _ = map(int, stats[i])
# 连通域坐标相对于 ROI,需要转换为原图坐标。
cv2.rectangle(
img,
(80 + x, 60 + y),
(80 + x + w - 1, 60 + y + h - 1),
(0, 0, 255), 2
)
status = "NG" if ids else "OK"
cv2.rectangle(img, (80, 60), (399, 259), (255, 0, 0), 1)
cv2.putText(
img, status, (20, 35), cv2.FONT_HERSHEY_SIMPLEX, 0.9,
(0, 0, 255) if ids else (0, 180, 0), 2
)
cv2.imwrite(str(OUTPUT_DIR / f"mask_{name}"), mask)
cv2.imwrite(str(OUTPUT_DIR / f"marked_{name}"), img)
total_area = sum(int(stats[i, cv2.CC_STAT_AREA]) for i in ids)
return status, total_area, len(ids)
for name, flag in [("sample_ok.png", False), ("sample_ng.png", True)]:
make_sample(name, flag)
rows = []
for name in ["sample_ok.png", "sample_ng.png"]:
status, area, regions = inspect(name)
rows.append((name, status, area, regions))
print(f"{name}: {status}, area={area}, regions={regions}")
# 统一记录文件名、判定结果、有效缺陷总面积和区域数量。
with (OUTPUT_DIR / "results.csv").open(
"w", encoding="utf-8", newline=""
) as stream:
writer = csv.writer(stream)
writer.writerow(("sample", "decision", "area_px", "regions"))
writer.writerows(rows)
print("CSV: vision_output/results.csv")保存脚本后,在其所在目录运行 python vision_demo.py。
预期输出:
sample_ok.png: OK, area=0, regions=0
sample_ng.png: NG, area=377, regions=1
CSV: vision_output/results.csv程序没有使用随机数。NG 样张中的圆形暗斑由 cv2.circle 以半径 11 像素填充,实际形成 377 个前景像素,因此连通域面积为 377 px²,满足面积门槛。两张样张的结果应在重复运行时保持一致。
看懂从像素到 OK/NG 的判定过程
一张图像被读取后,首先通过灰度转换将三个颜色通道变成单通道。随后只保留 ROI 内的像素进行反向二值化:灰度不大于 90 的像素变成白色 255,其余像素变成黑色 0。这里的白色代表候选暗缺陷,而不是原始图像中的亮区。
连通域算法将二值掩膜中的相邻白色像素组成区域,并返回每个区域的外接矩形和面积。程序过滤小于 80 px² 的区域后,将剩余区域的坐标还原到原图,绘制红色缺陷框,最后输出 OK 或 NG。

在这个样例中,OK 图像的 ROI 内全部为灰度 185,二值化后不存在前景区域。NG 图像除了圆形暗斑,其余工件区域仍为灰度 185,因此恰好识别出一个有效连通区域。
注意两个常见误判来源:一是 ROI 包含了工件外部的黑色背景或暗边,导致大面积假缺陷;二是直接统计所有低灰度像素,而不区分连通区域,使多个互不相连的小噪点累计触发 NG。本程序使用固定 ROI 和单区域面积过滤来避免这两种情况。
检查标注图片与 CSV 检测记录
执行完成后,工作目录下会出现 vision_output 文件夹。检查其中的原始样张、掩膜、结果图和记录文件,确认检测过程不仅给出了判定文字,还留下了能够人工复核的证据。
| 文件 | 应观察到的结果 |
|---|---|
sample_ok.png |
浅灰工件,无深色缺陷 |
sample_ng.png |
工件中部有一个深色圆斑 |
mask_sample_ok.png |
全黑二值掩膜 |
mask_sample_ng.png |
黑底上的一个白色圆形区域 |
marked_sample_ok.png |
蓝色 ROI 框和绿色 OK |
marked_sample_ng.png |
蓝色 ROI 框、红色缺陷框和红色 NG |
results.csv |
两条检测记录及字段标题 |
results.csv 应包含如下内容:
sample,decision,area_px,regions
sample_ok.png,OK,0,0
sample_ng.png,NG,377,1其中 area_px 表示所有满足面积门槛的连通区域的像素面积之和,regions 表示有效区域数量。两者不能混用,例如一张图有两个各 100 px² 的独立缺陷时,面积合计为 200,但区域数量为 2。
可连续运行脚本三次并对比输出,预期每次均为一张 OK、一张 NG,CSV 内容不变。标注图只是在原始图像副本上叠加检测结果,不能反向作为下一次检测输入,否则标注颜色可能干扰阈值判断。
替换真实产线样张时的注意事项
验证模拟样张之后,可以删除脚本中调用 make_sample 的样张生成循环,将两张实际采集的工件照片按相同文件名放入 vision_output,继续使用 inspect 完成读取和检测。若真实图像分辨率不同,必须先调整 ROI 坐标,确保切片位于有效工件区域内。
现场采样至少检查以下条件:
- 成像一致性:固定相机位置、曝光、增益和光源亮度。同一合格工件的灰度变化应足够小,不应因阴影或反光被误判。
- 阈值适配:分别统计合格表面与真实缺陷的灰度分布。如果两类灰度明显重叠,不应直接沿用阈值 90,应先改善照明或改进检测算法。
- 面积适配:80 px² 只是模拟图像门槛。真实缺陷的像素面积取决于分辨率、视场和标定比例,不能直接等同于实际物理面积。
- 人工对照:准备至少 10 张人工确认的 OK 图和 10 张 NG 图,逐张检查输出。记录误报,即合格品被判 NG,以及漏检,即缺陷品被判 OK 的数量。
完成本次验证后,应能够用同一份脚本稳定重现两条不同的检测结果,并根据掩膜、连通域面积、原图标注和 CSV 记录解释每次 OK/NG 判定的依据。