计算机视觉 / 系统课时
配置推理后端
配置推理后端
同一个 DNN 模型可以由 OpenCV、CUDA 等后端执行,也可以选择 CPU、GPU 或半精度目标。本课将建立“后端与目标必须匹配”的配置方法,并用能力查询和实际前向推理验证配置是否真正可用。
学习目标
- 区分推理后端 Backend 与计算目标 Target
- 根据当前 OpenCV 构建能力选择 CPU 或 CUDA
- 通过一次
forward()验证配置,而不是只检查常量是否存在
后端与计算目标的关系
后端决定“由哪套推理实现执行网络”,例如 OpenCV 自带实现或 CUDA 实现;计算目标决定“在什么设备和精度上执行”,例如 CPU、CUDA GPU 或 CUDA FP16。两者必须是受支持的组合,不能任意搭配。
| 后端 | 常用目标 | 适用条件 |
|---|---|---|
DNN_BACKEND_OPENCV |
DNN_TARGET_CPU |
通用兼容,适合作为默认或回退方案 |
DNN_BACKEND_CUDA |
DNN_TARGET_CUDA |
OpenCV 编译时启用了 CUDA DNN |
DNN_BACKEND_CUDA |
DNN_TARGET_CUDA_FP16 |
GPU 支持高效半精度,模型算子兼容 |
选择 CUDA 常量并不代表 GPU 一定可用。预编译包可能没有启用 CUDA,驱动、显卡架构或模型算子也可能导致配置失败,因此必须在运行时检查。
自动选择并执行推理
下面脚本读取 ONNX 模型和一个 .npy 输入张量。输入数组应已经整理成模型要求的 NCHW 或其他形状,脚本不会替你完成图像预处理。
import argparse
from pathlib import Path
import cv2
import numpy as np
def choose_device() -> tuple[int, int, str]:
cuda_backend = getattr(cv2.dnn, "DNN_BACKEND_CUDA", None)
cuda_target = getattr(cv2.dnn, "DNN_TARGET_CUDA", None)
# 常量存在不代表当前构建可用,还要查询后端实际支持的目标
if cuda_backend is not None and cuda_target is not None:
try:
available_targets = set(cv2.dnn.getAvailableTargets(cuda_backend))
except cv2.error:
available_targets = set()
if cuda_target in available_targets:
fp16_target = getattr(cv2.dnn, "DNN_TARGET_CUDA_FP16", None)
if fp16_target is not None and fp16_target in available_targets:
return cuda_backend, fp16_target, "CUDA FP16"
return cuda_backend, cuda_target, "CUDA"
return (
cv2.dnn.DNN_BACKEND_OPENCV,
cv2.dnn.DNN_TARGET_CPU,
"CPU",
)
def main() -> None:
parser = argparse.ArgumentParser()
parser.add_argument("--model", required=True, help="ONNX 模型路径")
parser.add_argument("--input", required=True, help="已预处理的 .npy 张量路径")
args = parser.parse_args()
model_path = Path(args.model)
input_path = Path(args.input)
if not model_path.is_file() or not input_path.is_file():
raise FileNotFoundError("模型或输入张量不存在")
backend, target, device_name = choose_device()
net = cv2.dnn.readNetFromONNX(str(model_path))
net.setPreferableBackend(backend)
net.setPreferableTarget(target)
blob = np.load(input_path).astype(np.float32, copy=False)
net.setInput(blob)
# 只有 forward 成功,才能确认所选组合可执行当前模型
output = net.forward()
print(f"选择设备: {device_name}")
print(f"输入形状: {tuple(blob.shape)}")
print(f"输出形状: {tuple(output.shape)}")
if __name__ == "__main__":
main()运行命令:
python infer_backend.py --model <PATH>/model.onnx --input <PATH>/input.npy预期输出格式:
选择设备: CUDA FP16
输入形状: (1, 3, 640, 640)
输出形状: (1, 25200, 85)设备名称和张量形状取决于本机 OpenCV 构建、模型结构与输入文件。没有 CUDA 支持时,第一行应显示 CPU;这属于脚本的正常回退行为。
如何确认实际生效
getAvailableTargets() 只能说明当前构建声明支持哪些目标,forward() 成功则进一步证明该后端能够执行当前模型。Python API 没有一个适用于所有后端的统一方法,可以在推理后直接读取“最终实际设备”。
因此,生产环境应同时记录选择结果、OpenCV 构建信息和推理耗时。若配置 CUDA 后首次推理报错,优先检查 OpenCV 是否为 CUDA 构建、显卡驱动是否匹配,以及模型是否包含 CUDA 后端暂不支持的算子。
常见失败与修复
出现 Backend CUDA is not supported 或可用目标为空,通常表示当前 OpenCV 未编译 CUDA DNN。应改用带 CUDA 的自定义构建,或回退到 DNN_BACKEND_OPENCV 与 DNN_TARGET_CPU。
CUDA FP16 并不总是更快或更准确。小模型可能受数据传输和启动开销影响,部分设备的半精度能力也有限。应使用固定输入进行预热后多次计时,再决定是否启用 FP16。
本课总结
- Backend 决定推理实现,Target 决定执行设备与精度,两者必须使用受支持的组合
getAvailableTargets()用于能力检查,真实模型仍需通过forward()验证- CPU 是可靠回退方案,CUDA 与 FP16 应根据构建能力、模型兼容性和实测性能启用
下一课预告
下一课将把模型输出、置信度筛选、非极大值抑制和结果绘制串成完整推理流程,形成可直接运行的目标检测程序。