计算机视觉 / 系统课时

构造模型输入

构造模型输入

DNN 模型通常不能直接接收 OpenCV 读到的原始 BGR 图像。本篇使用 cv2.dnn.blobFromImage 把图像转换为模型常见的四维 blob,并讲清缩放、均值、通道交换、尺寸与裁剪参数怎样共同决定最终输入。

学习目标

  • 理解图像从 HWC/BGR 到 NCHW blob 的转换关系
  • 正确配置 scalefactor、mean、swapRB、size 和 crop
  • 通过 shape、dtype 和数值范围验证预处理是否符合模型要求

blob 为什么不是普通图像

cv2.imread 得到的彩色图像通常是 H × W × C 排布、BGR 通道顺序和 uint8 像素。许多 DNN 模型则要求批次维度,并采用 N × C × H × W 的四维输入,同时还要求固定尺寸、浮点数、归一化或减均值。

blobFromImage 把这些常见预处理合并到一次调用中:先按要求调整空间尺寸,再处理通道顺序、均值和缩放,最后得到 NCHW blob。单张图像的批次维度 N 为 1。

OpenCV 图像转换为 DNN blob 的处理链路

关键参数如何作用

blobFromImage 的常用调用形式是 cv2.dnn.blobFromImage(image, scalefactor, size, mean, swapRB, crop)。其中数值变换遵循 (input - mean) * scalefactor,所以均值和缩放必须按训练时的预处理规则填写。当 BGR 输入使用 swapRB=True 时,mean 应按 R、G、B 的语义顺序提供。

参数 作用 常见注意点
size 指定输出空间尺寸 (width, height) 必须与模型输入要求一致
scalefactor 对减均值后的像素乘缩放系数 1 / 255.0 常用于映射到 0~1,但不是所有模型都这样训练
mean 对各通道减去均值 数值必须来自模型预处理约定
swapRB 交换第一个和最后一个颜色通道 OpenCV 默认 BGR,而很多模型按 RGB 训练
crop 控制 resize 后是否中心裁剪 True 会保持比例缩放到覆盖目标尺寸再中心裁剪;False 直接调整为目标尺寸

构造一个可验证的 blob

下面使用全黑的 480 × 640 BGR 图像构造 224 × 224 输入。全黑图像经过零均值和 1 / 255.0 缩放后仍为 0,因此 shape、dtype 和数值范围都可以稳定验证。

python
import cv2
import numpy as np

image = np.zeros((480, 640, 3), dtype=np.uint8)

blob = cv2.dnn.blobFromImage(
    image,
    scalefactor=1 / 255.0,
    size=(224, 224),
    mean=(0.0, 0.0, 0.0),
    swapRB=True,
    crop=False,
)

print(blob.shape)
print(blob.dtype)
print(float(blob.min()), float(blob.max()))

预期输出:

text
(1, 3, 224, 224)
float32
0.0 0.0

第一维是批次,第二维是通道,后两维是高度和宽度。得到 blob 后,通常再调用 net.setInput(blob),随后执行 net.forward();如果输入 shape 或数据分布与模型契约不一致,网络即使能够执行,也可能得到完全错误的结果。

让参数与训练预处理对齐

构造输入时应从模型要求反推参数,而不是从 blobFromImage 的默认值出发。至少确认输入尺寸、颜色顺序、数值范围、均值、是否保持宽高比以及模型期待的布局。

例如模型训练时使用 RGB、尺寸 224 × 224、像素除以 255,则可以使用 swapRB=True、size=(224, 224) 和 scalefactor=1 / 255.0。如果训练时使用 (x - 127.5) / 127.5,对应参数就是 mean=(127.5, 127.5, 127.5) 和 scalefactor=1 / 127.5。

目标检测模型还可能要求 letterbox,即按比例缩放后用边框补齐,而不是简单拉伸或中心裁剪。遇到这种模型时,应按模型预处理规则显式实现 padding,不能只改变 crop 就假设结果等价。

验证输入而不是猜参数

调试 blob 时先检查 blob.shape 和 blob.dtype,再观察最小值、最大值或单个通道的统计量。若模型要求 1 × 3 × 640 × 640,而实际得到其他尺寸,应先修正预处理,不要急着分析后处理代码。

另一个高频错误是通道重复交换:代码先手工执行 BGR→RGB,又把 swapRB=True,结果实际上回到了 BGR。预处理链路只保留一次颜色顺序转换,并用一张颜色明确的测试图验证通道,能比反复修改置信度阈值更快定位问题。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

构造模型输入

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通