计算机视觉 / 系统课时

认识 OpenCV DNN

认识 OpenCV DNN

OpenCV DNN 用来把已经训练好的深度学习模型接入图像与视频处理流程。本篇会厘清它和训练框架的分工、常见模型格式、适合的视觉任务,并用最小代码确认当前 OpenCV 环境是否具备 DNN 推理能力。

学习目标

  • 说明 OpenCV DNN 在训练、导出和推理链路中的位置
  • 识别常见模型格式及对应的加载入口
  • 判断一个模型是否适合直接交给 OpenCV DNN 执行

OpenCV DNN 的定位

cv2.dnn 是 OpenCV 的深度神经网络推理模块。它负责加载已经训练并序列化的网络、准备输入、执行前向计算,再把输出交给分类、检测、分割等后处理逻辑;它不是完整训练框架,通常不负责反向传播、优化器、数据增强和训练循环。

因此常见工作流是:在 PyTorch、TensorFlow 等训练框架中训练模型,将网络导出为 OpenCV 能读取的格式,再由 OpenCV 负责摄像头采集、图像预处理、模型推理和结果可视化。这样可以把深度学习推理直接嵌入传统计算机视觉流水线。

训练框架、模型文件与 OpenCV DNN 的推理关系

常见模型格式与加载方式

OpenCV DNN 提供统一的 readNet,也提供按格式区分的读取函数。实际项目中最常见的是 ONNX;此外还可以遇到 TensorFlow、TensorFlow Lite、Caffe、Darknet、OpenVINO IR 和 Torch7 等格式。

模型来源或格式 常见文件 常用入口
ONNX .onnx cv2.dnn.readNetFromONNX
TensorFlow .pb,可带配置文件 cv2.dnn.readNetFromTensorflow
TensorFlow Lite .tflite cv2.dnn.readNetFromTFLite
Caffe .prototxt + .caffemodel cv2.dnn.readNetFromCaffe
Darknet .cfg + .weights cv2.dnn.readNetFromDarknet
OpenVINO IR .xml + .bin cv2.dnn.readNet

“文件格式可读取”不等于“任意模型都能运行”。模型中的算子、动态形状、特殊后处理以及导出方式仍可能影响兼容性,所以真正的验收标准是模型能成功加载,并用真实输入完成一次 forward()。

它适合哪些视觉任务

OpenCV DNN 的核心对象是 Net,因此任务类型主要由模型本身决定。常见场景包括图像分类、目标检测、语义分割、关键点估计、文本检测与识别等。OpenCV 还提供 ClassificationModel、DetectionModel、SegmentationModel 等较高层接口,用于减少常见任务的样板代码。

如果项目已经大量使用 cv2.VideoCapture、颜色转换、几何变换和绘图 API,直接在同一进程中完成 DNN 推理通常很方便。若重点是模型训练、复杂动态图、训练期调试或框架专有算子,则应继续使用原训练框架完成这些工作。

用最小代码确认 DNN 模块

下面的程序不依赖模型文件,只检查 Python OpenCV 是否暴露 DNN 模块及两个常用入口。

python
import cv2

print(hasattr(cv2, "dnn"))
print(hasattr(cv2.dnn, "readNetFromONNX"))
print(hasattr(cv2.dnn, "blobFromImage"))

预期输出:

text
True
True
True

如果第一项就是 False,说明当前 OpenCV 构建没有可用的 DNN 模块;如果模块存在但模型加载失败,应继续区分“文件无法读取”和“网络算子不受支持”两类问题,而不是先调整输入图片。

训练框架与推理环境的边界

模型训练阶段决定网络结构、权重和预处理约定;OpenCV DNN 推理阶段必须忠实复现这些约定。模型要求 RGB 还是 BGR、输入尺寸是多少、是否除以 255、是否减均值,都属于模型契约,不能凭经验随意设置。

推理时还可以选择 backend 和 target,例如 CPU、OpenCL 或 CUDA。它们决定网络在哪种执行后端和设备上运行,但不会改变模型本身的类别含义或输入规范。先让模型在默认 CPU 路径上正确得到结果,再考虑硬件加速,通常更容易定位兼容性问题。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

认识 OpenCV DNN

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通