计算机视觉 / 系统课时

认识 OpenCV DNN

认识 OpenCV DNN

OpenCV DNN 用来把已经训练好的深度学习模型接入图像处理程序,完成模型加载、输入预处理、前向推理和结果后处理。本课会把模型格式、计算后端与目标设备分开讲清,并用一段可运行代码检查本机 DNN 能力和输入 Blob 形状。

学习目标

  • 说清 cv2.dnn 负责什么,以及它与模型训练框架的边界
  • 识别常见模型格式,并理解 backend 与 target 的区别
  • 按“图像 → Blob → Net → forward → 后处理”的顺序组织一次推理

DNN 模块解决什么问题

cv2.dnn 主要负责推理,不是用来训练网络。训练通常在 PyTorch、TensorFlow 等框架中完成,再把模型导出成 OpenCV 能读取的格式;OpenCV 侧负责把模型嵌入摄像头、视频、图像处理流水线,并与传统视觉 API 共用 numpy.ndarray 数据。

以 OpenCV 4.13 的 Python API 为例,常见入口如下:ONNX 使用 cv2.dnn.readNetFromONNX(),TensorFlow 使用 readNetFromTensorflow(),Caffe 使用 readNetFromCaffe(),Darknet 使用 readNetFromDarknet(),TFLite 使用 readNetFromTFLite()。旧项目还可能遇到 Torch7 或 OpenVINO IR。

模型来源 常见文件 读取方式
ONNX .onnx cv2.dnn.readNetFromONNX()
TensorFlow .pb,可配 .pbtxt cv2.dnn.readNetFromTensorflow()
Caffe .prototxt + .caffemodel cv2.dnn.readNetFromCaffe()
Darknet .cfg + .weights cv2.dnn.readNetFromDarknet()
TFLite .tflite cv2.dnn.readNetFromTFLite()

后端与目标设备不是一回事

backend 决定由哪套计算实现执行网络,例如 DNN_BACKEND_OPENCV、DNN_BACKEND_CUDA 或 OpenVINO 相关后端;target 决定实际算在哪类设备上,例如 DNN_TARGET_CPU、DNN_TARGET_OPENCL、DNN_TARGET_CUDA。两者必须组成当前构建真正支持的组合。

下面的代码不需要模型文件,可直接检查默认 OpenCV backend 在本机暴露的 target,并构造一个标准 NCHW 输入 Blob。适用于 OpenCV 4.x,具体 target 列表会随编译选项和硬件变化。

python
import cv2
import numpy as np

print("OpenCV:", cv2.__version__)

targets = cv2.dnn.getAvailableTargets(cv2.dnn.DNN_BACKEND_OPENCV)
print("OpenCV backend targets:", [int(t) for t in targets])

image = np.zeros((240, 320, 3), dtype=np.uint8)
blob = cv2.dnn.blobFromImage(
    image,
    scalefactor=1.0 / 255.0,
    size=(224, 224),
    mean=(0, 0, 0),
    swapRB=True,
    crop=False,
)
print("Blob:", blob.shape, blob.dtype)

预期输出:

text
OpenCV: <VERSION>
OpenCV backend targets: <TARGET_IDS>
Blob: (1, 3, 224, 224) float32

<VERSION> 与 <TARGET_IDS> 取决于安装包和硬件;常见 CPU 环境至少会使用 CPU target。blobFromImage() 输出的 (1, 3, 224, 224) 分别是批大小、通道、高、宽,这也是许多 ONNX 图像模型常见的输入布局。

一次推理真正经过哪些阶段

推理时需要同时追踪模型文件、输入张量、执行后端和输出张量,按下面的数据流理解最不容易混淆。前处理参数必须来自模型训练或导出约定,不能仅凭“图像看起来正常”猜测。

OpenCV DNN 从模型文件到推理输出的数据流

实际调用通常依次是:readNet*() 加载模型,blobFromImage() 或自行用 NumPy 生成输入,net.setInput(blob) 绑定输入,net.forward() 执行网络,最后根据模型定义解析分类分数、检测框或特征向量。检测模型往往还要做置信度阈值和 NMS。

最容易出错的是模型约定

同一个模型即使成功加载,输入尺寸、颜色顺序或归一化不一致也会让结果明显变差。例如模型要求 RGB、1/255、640×640,却使用默认 BGR、未缩放、224×224,网络仍可能正常执行,但输出没有业务意义。

检查模型时至少记录 5 个值:输入尺寸、通道顺序、缩放系数、均值/标准差、输出张量含义。性能问题则单独检查 backend/target;不要把“模型精度不对”和“GPU 没启用”混成同一个问题。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

认识 OpenCV DNN

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通