智能制造与工业软件 / 系统课时

处理单色和彩色图像的像素格式

处理单色和彩色图像的像素格式

相机返回的原始字节必须按实际像素格式解码:把 Bayer 当 RGB 会出现错色,把 12 位灰度当 8 位读取会丢失动态范围。本课用一组可运行的样本,完成单色、Bayer、RGB 与高位深图像的转换和验收。

学习目标

  • 根据 PixelFormat、位深和缓冲区长度判断正确的像素布局。
  • 使用 OpenCV 完成 Bayer 去马赛克、RGB/BGR 通道转换及 12 位显示缩放。
  • 通过颜色、像素值和行步长检查识别常见解码错误。

先确认字节对应什么像素

读取相机的 Width、Height、PixelFormat,并从采集结果获取行步长 stride 或行尾填充 paddingX。下面的字节数均假设没有填充、附加块数据或额外头部。

像素格式 每个像素的有效信息 无填充字节数 正确解释
Mono8 8 位亮度 1 uint8,形状 H×W
BayerRG8 8 位 R/G/B 中的一个分量 1 单通道 RAW,去马赛克后得到三通道
RGB8 / RGB8Packed R、G、B 各 8 位 3 uint8,形状 H×W×3
Mono12 12 位亮度,通常装在 16 位容器 2 确认字节序、有效位对齐后读为 uint16
Mono12p 12 位亮度,紧凑打包 1.5(平均) 先按 PFNC 规则解包

例如 640×480 图像,Mono8 和 BayerRG8 的像素数据均为 307200 字节,RGB8 为 921600 字节,未打包 Mono12 为 614400 字节。Mono12p 在逐行无填充且宽度为偶数时为 460800 字节。不能只凭文件大小猜格式,还要核对相机返回的实际格式。

Bayer 排列与三通道顺序

BayerRG8 的左上角 2×2 像素依次为 R、G、G、B,每个感光点只记录一种颜色。去马赛克根据邻域插值补出其余两种颜色;直接按灰度显示只能看到马赛克亮度,直接按 RGB 三字节拆分则会读错位置。Mono8 没有彩色滤镜信息,不应做去马赛克。

BayerRG8 的单色采样格、去马赛克和 RGB/BGR 通道排列

对相机命名的 RGGB 排列,OpenCV 4.x 建议用含完整四字母排列的 cv2.COLOR_BayerRGGB2BGR,避免把 COLOR_BayerRG2BGR 误认成相同别名。已经输出 RGB8 的相机无需再去马赛克,只需根据下游约定处理通道顺序;OpenCV 的彩色图像通常采用 BGR。

用可运行样本验证四种处理路径

环境为 Python 3.10+、NumPy 和 OpenCV 4.x(安装包 opencv-python)。以下脚本不用连接工业相机,直接构造可检查的 8×8 测试缓冲区,并模拟小端、低位对齐的 Mono12 原始数据。

python
import cv2
import numpy as np

w, h = 8, 8
mono_bytes = bytes([120]) * (w * h)
mono8 = np.frombuffer(mono_bytes, dtype=np.uint8).reshape(h, w)

# 左上 2x2 的 Bayer 排列:R G / G B。
bayer = np.empty((h, w), dtype=np.uint8)
bayer[0::2, 0::2] = 200
bayer[0::2, 1::2] = 100
bayer[1::2, 0::2] = 100
bayer[1::2, 1::2] = 40
bgr_from_bayer = cv2.cvtColor(bayer, cv2.COLOR_BayerRGGB2BGR)

# RGB8 的字节顺序为 R/G/B;OpenCV 常用 B/G/R。
rgb_bytes = bytes([200, 100, 40]) * (w * h)
rgb = np.frombuffer(rgb_bytes, dtype=np.uint8).reshape(h, w, 3)
bgr_from_rgb = cv2.cvtColor(rgb, cv2.COLOR_RGB2BGR)

# 仅适用于已解包、小端且有效数据位于低 12 位的 Mono12。
mono12_bytes = np.array([0, 1024, 2048, 4095], dtype="<u2").tobytes()
mono12 = np.frombuffer(mono12_bytes, dtype="<u2")
display8 = (mono12 >> 4).astype(np.uint8)

print("Mono8:", mono8.shape, int(mono8[0, 0]))
print("BayerRG8 -> BGR:", bgr_from_bayer[3, 3].tolist())
print("RGB8 -> BGR:", bgr_from_rgb[3, 3].tolist())
print("Mono12:", mono12.tolist())
print("Mono12 -> 8bit:", display8.tolist())

预期输出:

text
Mono8: (8, 8) 120
BayerRG8 -> BGR: [40, 100, 200]
RGB8 -> BGR: [40, 100, 200]
Mono12: [0, 1024, 2048, 4095]
Mono12 -> 8bit: [0, 64, 128, 255]

两种彩色路径得到相同的 BGR 值 [40, 100, 200],说明在这一测试图上,去马赛克的颜色排列与直接 RGB 转 BGR 的结果一致。接入相机时,用采集 SDK 取得的缓冲区和元数据替换合成数据即可;若每行有填充,必须先按 stride 提取有效像素,不能直接对整个缓冲区做 reshape。

高位深保留原值,显示时再缩放

Mono10、Mono12 和 Mono16 不等于普通 8 位图。对于非打包且低位对齐的 10 位、12 位数据,转换为 8 位预览图可以分别右移 2 位、4 位;本例 4095 >> 4 得到 255。用于尺寸或灰度阈值检测时,应保留原始 uint16 数值,避免因提前压缩而合并相邻灰度级。

如果相机或 SDK 输出的是高位对齐数据,就要先根据设备文档校正对齐方式,不能照搬右移 4 位。Mono12p 通常两个像素占 3 字节;Mono12Packed 与 Mono12p 的字节位序也可能不同,应采用相机 SDK 或符合 GenICam PFNC 的解包器,不能用 np.frombuffer(raw, dtype=np.uint16) 直接读取。逐帧自适应拉伸到 0~255 虽便于观察,却会掩盖曝光漂移,产线检测应使用固定标定范围。

用实际帧排除错色、条纹和亮度异常

  1. 停止采集后设置设备支持的 PixelFormat,重新分配采集缓冲区;保存每帧的宽、高、格式、ROI 偏移和步长。是否支持在线切换以相机手册为准。
  2. 用无填充的 640×480 RGB8 验证像素数据是否为 921600 字节;若无法整除或重排后出现斜向条纹,优先检查 stride、行尾填充与附加块。
  3. 用红蓝明显的色卡核对 RGB8 的 R/G/B 与 OpenCV 的 B/G/R;若红蓝互换,检查转换码而不是调整曝光。
  4. 用 Bayer 图检查 2×2 相位和 ROI 的 OffsetX、OffsetY:奇数像素偏移可能改变裁切缓冲区左上角的 CFA 排列,必须以实际起始像素选取去马赛克格式。
  5. 读取 Mono12 的最小值、最大值和直方图;若图像异常偏暗、周期性跳变或饱和位置不对,依次检查高低位对齐、大小端和是否误把打包格式当非打包格式。

一条可靠的处理链应让原始缓冲区的字节数、解析后的数组形状、颜色通道与有效位范围全部对得上。具体格式名称和 Bayer 转换常量可查阅 GenICam PFNC 与 OpenCV 4.x 色彩转换表。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

处理单色和彩色图像的像素格式

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通