计算机视觉 / 系统课时

构造模型输入

构造模型输入

DNN 模型不能直接接收任意尺寸的 OpenCV BGR 图像。你需要按模型训练时的约定完成缩放、减均值或归一化、通道顺序调整,并把图像变成带批次维度的四维 blob;参数只要错一项,模型通常仍能运行,但检测结果会明显变差。

学习目标

  • 使用 cv2.dnn.blobFromImage 构造可送入网络的四维输入。
  • 理解 size、mean、scalefactor、swapRB 与 crop 对像素的实际影响。
  • 通过 blob 形状和通道数值检查预处理是否符合模型约定。

先确认模型的预处理契约

不要先写 blobFromImage 再猜参数。应先从模型说明、导出脚本或训练配置确认输入尺寸、颜色顺序和归一化方式。下例使用 224×224、RGB、1/255 缩放只是一个可验证示例,不代表所有检测模型都这样设置。

参数 本例取值 实际含义
size (224, 224) 把空间尺寸变为 224×224
scalefactor 1/255.0 将 0~255 缩放到约 0~1
mean (0, 0, 0) 不做均值减法
swapRB True 把 OpenCV 的 BGR 调整为 RGB
crop False 直接缩放到目标尺寸,不做中心裁剪

blobFromImage 的数值处理可按 (input - mean) * scalefactor 理解。若模型训练时使用 (123.68, 116.78, 103.94) 之类的均值或 1/127.5 缩放,就必须照模型约定填写,不能把另一套模型的参数照搬过来。

从 BGR 图像到 NCHW blob 的预处理链路

用 blobFromImage 生成四维输入

下面的程序不依赖模型文件,直接构造一张固定颜色图像,因此可以精确验证缩放、换通道和批次维度。示例适用于 OpenCV 4.x/5.x 常用的 Python DNN API;运行前需安装 opencv-python 与 numpy。

python
import cv2
import numpy as np

image = np.zeros((480, 640, 3), dtype=np.uint8)
image[:] = (10, 20, 30)  # OpenCV 图像按 BGR 存储

blob = cv2.dnn.blobFromImage(
    image,
    scalefactor=1 / 255.0,
    size=(224, 224),
    mean=(0, 0, 0),
    swapRB=True,
    crop=False,
)

print(blob.shape)
print(blob.dtype)
print([round(float(blob[0, c, 0, 0]), 4) for c in range(3)])

预期输出

text
(1, 3, 224, 224)
float32
[0.1176, 0.0784, 0.0392]

原像素是 BGR=(10,20,30)。启用 swapRB=True 后,blob 的三个通道按 R、G、B 排列,再分别除以 255,所以第一个位置得到约 30/255=0.1176。如果输出顺序仍是 0.0392, 0.0784, 0.1176,说明通道没有交换。

读懂批次维度和张量布局

blobFromImage 返回四维 NCHW 张量。单张三通道图像变为 (1, 3, 224, 224):N=1 是批次数量,C=3 是通道数,后两维是高度和宽度。真正推理时,将这个 blob 交给 net.setInput(blob),网络读取的就是这四个维度。

检查时不要只看 shape。例如本例可直接读取 blob[0, 0, 0, 0],确认第 0 批、第 0 通道、第 0 行、第 0 列的值是否符合预期。批量推理则可使用 cv2.dnn.blobFromImages,此时第一维会从 1 变为图像数量。

参数错了通常会怎样

预处理错误最危险的地方是“程序不报错”。尺寸合法、类型正确时,net.forward() 往往仍会返回张量,因此要从数值和模型契约反查,而不是把“能运行”当成正确。

现象 常见错误 修正方式
颜色相关类别明显异常 RGB 模型却使用 swapRB=False 改为 True,再检查均值顺序
置信度整体很低 漏掉 1/255、1/127.5 等缩放 按训练配置恢复 scalefactor
细长目标严重变形 原图比例与 size 不同却直接拉伸 改用模型要求的等比缩放或 letterbox
blob 形状不是预期 size 写反或输入通道数不对 打印 blob.shape,逐维核对 NCHW

完成输入构造后,至少同时核对 形状、数据类型、通道顺序和数值范围。这四项都符合模型训练约定,再执行 net.setInput(blob),后面的检测结果才有解释意义。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

构造模型输入

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通