计算机视觉 / 系统课时
认识 OpenCV DNN
认识 OpenCV DNN
OpenCV DNN 用来把已经训练好的深度学习模型接入图像处理程序,完成模型加载、输入预处理、前向推理和结果后处理。本课会把模型格式、计算后端与目标设备分开讲清,并用一段可运行代码检查本机 DNN 能力和输入 Blob 形状。
学习目标
- 说清
cv2.dnn负责什么,以及它与模型训练框架的边界 - 识别常见模型格式,并理解 backend 与 target 的区别
- 按“图像 → Blob → Net → forward → 后处理”的顺序组织一次推理
DNN 模块解决什么问题
cv2.dnn 主要负责推理,不是用来训练网络。训练通常在 PyTorch、TensorFlow 等框架中完成,再把模型导出成 OpenCV 能读取的格式;OpenCV 侧负责把模型嵌入摄像头、视频、图像处理流水线,并与传统视觉 API 共用 numpy.ndarray 数据。
以 OpenCV 4.13 的 Python API 为例,常见入口如下:ONNX 使用 cv2.dnn.readNetFromONNX(),TensorFlow 使用 readNetFromTensorflow(),Caffe 使用 readNetFromCaffe(),Darknet 使用 readNetFromDarknet(),TFLite 使用 readNetFromTFLite()。旧项目还可能遇到 Torch7 或 OpenVINO IR。
| 模型来源 | 常见文件 | 读取方式 |
|---|---|---|
| ONNX | .onnx |
cv2.dnn.readNetFromONNX() |
| TensorFlow | .pb,可配 .pbtxt |
cv2.dnn.readNetFromTensorflow() |
| Caffe | .prototxt + .caffemodel |
cv2.dnn.readNetFromCaffe() |
| Darknet | .cfg + .weights |
cv2.dnn.readNetFromDarknet() |
| TFLite | .tflite |
cv2.dnn.readNetFromTFLite() |
后端与目标设备不是一回事
backend 决定由哪套计算实现执行网络,例如 DNN_BACKEND_OPENCV、DNN_BACKEND_CUDA 或 OpenVINO 相关后端;target 决定实际算在哪类设备上,例如 DNN_TARGET_CPU、DNN_TARGET_OPENCL、DNN_TARGET_CUDA。两者必须组成当前构建真正支持的组合。
下面的代码不需要模型文件,可直接检查默认 OpenCV backend 在本机暴露的 target,并构造一个标准 NCHW 输入 Blob。适用于 OpenCV 4.x,具体 target 列表会随编译选项和硬件变化。
import cv2
import numpy as np
print("OpenCV:", cv2.__version__)
targets = cv2.dnn.getAvailableTargets(cv2.dnn.DNN_BACKEND_OPENCV)
print("OpenCV backend targets:", [int(t) for t in targets])
image = np.zeros((240, 320, 3), dtype=np.uint8)
blob = cv2.dnn.blobFromImage(
image,
scalefactor=1.0 / 255.0,
size=(224, 224),
mean=(0, 0, 0),
swapRB=True,
crop=False,
)
print("Blob:", blob.shape, blob.dtype)预期输出:
OpenCV: <VERSION>
OpenCV backend targets: <TARGET_IDS>
Blob: (1, 3, 224, 224) float32<VERSION> 与 <TARGET_IDS> 取决于安装包和硬件;常见 CPU 环境至少会使用 CPU target。blobFromImage() 输出的 (1, 3, 224, 224) 分别是批大小、通道、高、宽,这也是许多 ONNX 图像模型常见的输入布局。
一次推理真正经过哪些阶段
推理时需要同时追踪模型文件、输入张量、执行后端和输出张量,按下面的数据流理解最不容易混淆。前处理参数必须来自模型训练或导出约定,不能仅凭“图像看起来正常”猜测。

实际调用通常依次是:readNet*() 加载模型,blobFromImage() 或自行用 NumPy 生成输入,net.setInput(blob) 绑定输入,net.forward() 执行网络,最后根据模型定义解析分类分数、检测框或特征向量。检测模型往往还要做置信度阈值和 NMS。
最容易出错的是模型约定
同一个模型即使成功加载,输入尺寸、颜色顺序或归一化不一致也会让结果明显变差。例如模型要求 RGB、1/255、640×640,却使用默认 BGR、未缩放、224×224,网络仍可能正常执行,但输出没有业务意义。
检查模型时至少记录 5 个值:输入尺寸、通道顺序、缩放系数、均值/标准差、输出张量含义。性能问题则单独检查 backend/target;不要把“模型精度不对”和“GPU 没启用”混成同一个问题。