计算机视觉 / 系统课时

评估检测速度与效果

评估检测速度与效果

目标检测优化不能只看“跑得更快”或“框变多了”。可复现的做法是固定测试集,分别记录推理延迟、FPS、Precision、Recall,再一次只改变置信度阈值、输入尺寸或 DNN 后端,这样才能判断速度提升是否以检测效果为代价。

学习目标

  • 建立可重复的检测速度基准,区分预热与正式计时
  • 用 Precision、Recall 记录阈值变化带来的效果差异
  • 正确比较输入尺寸与 CPU、CUDA 后端,避免一次改多个变量

速度指标要这样测

速度测试至少先预热 10 次,再正式测 100 次,记录中位数和 P95 延迟;只测第一次 forward() 容易把模型初始化、内存分配等一次性成本算进去。FPS 可用 1000 / median_ms 粗略换算,但实时视频还应把预处理、后处理和显示耗时单独记录。

下面脚本适用于 OpenCV 4.x,模型需是 OpenCV DNN 可读取的 ONNX,且预处理确实为 RGB、0~1 归一化、方形输入。若模型固定为单一尺寸,就不要用它比较 320 与 640;应使用支持动态尺寸的模型,或分别导出对应尺寸的模型。

python
import argparse
import statistics
import time

import cv2

parser = argparse.ArgumentParser()
parser.add_argument("--model", required=True)
parser.add_argument("--image", required=True)
parser.add_argument("--size", type=int, default=640)
parser.add_argument("--backend", choices=["cpu", "cuda"], default="cpu")
args = parser.parse_args()

net = cv2.dnn.readNetFromONNX(args.model)

if args.backend == "cuda":
    net.setPreferableBackend(cv2.dnn.DNN_BACKEND_CUDA)
    net.setPreferableTarget(cv2.dnn.DNN_TARGET_CUDA)
else:
    net.setPreferableBackend(cv2.dnn.DNN_BACKEND_OPENCV)
    net.setPreferableTarget(cv2.dnn.DNN_TARGET_CPU)

image = cv2.imread(args.image)
if image is None:
    raise FileNotFoundError(args.image)

blob = cv2.dnn.blobFromImage(
    image,
    scalefactor=1.0 / 255.0,
    size=(args.size, args.size),
    swapRB=True,
    crop=False,
)

for _ in range(10):
    net.setInput(blob)
    net.forward()

times_ms = []
for _ in range(100):
    net.setInput(blob)
    start = time.perf_counter()
    net.forward()
    times_ms.append((time.perf_counter() - start) * 1000.0)

median_ms = statistics.median(times_ms)
p95_ms = sorted(times_ms)[94]
fps = 1000.0 / median_ms
print(
    f"size={args.size} backend={args.backend} "
    f"median_ms={median_ms:.2f} p95_ms={p95_ms:.2f} fps={fps:.2f}"
)

运行时把 <PATH> 换成实际路径,例如 python benchmark.py --model <PATH> --image <PATH> --size 640 --backend cpu。CUDA 仅在 OpenCV 以 CUDA DNN 支持构建且系统 CUDA 环境可用时有效。

预期输出格式:

text
size=640 backend=cpu median_ms=<TIME> p95_ms=<TIME> fps=<TIME>

三个 <TIME> 的实际数值取决于硬件、OpenCV 构建、模型与输入尺寸,因此只比较同一台机器、同一软件环境下的结果。

效果指标不要用框数量代替

检测框更多并不等于效果更好。对有标注的固定测试集,应先按统一 IoU 规则匹配预测与真值,再统计 TP、FP、FN。Precision = TP / (TP + FP),Recall = TP / (TP + FN);若项目使用 COCO 风格评估,再补充 mAP@[0.5:0.95]。

下面是一组用于理解阈值影响的示例记录,不代表任何特定模型。假设测试集共有 200 个目标,输入尺寸固定为 640:

置信度阈值 TP FP FN Precision Recall
0.25 168 34 32 0.832 0.840
0.50 152 12 48 0.927 0.760
0.70 126 5 74 0.962 0.630

这个例子显示阈值升高后 Precision 提升、Recall 下降。真正选值时,应根据业务代价决定:漏掉安全帽更严重,就优先保 Recall;误报警成本高,就需要更高 Precision。

输入尺寸和后端要分开比较

输入从 320 提到 640,像素数量理论上变为 4 倍,因此很多卷积模型的计算量会明显上升,但实际延迟不会严格按 4 倍增长;同时小目标通常更容易保留细节。比较时固定阈值和后端,只改变尺寸,并记录同一验证集的速度与 Precision/Recall。

后端测试也要固定尺寸、阈值和图像顺序。CPU 可用 DNN_BACKEND_OPENCV + DNN_TARGET_CPU;具备兼容构建时可测试 DNN_BACKEND_CUDA + DNN_TARGET_CUDA。不要因为 CUDA 能启动就默认更快,小模型、频繁数据拷贝或低端 GPU 都可能让收益很小。

用单变量实验做决策

建议按固定顺序做三轮:先在 CPU 上比较 320、640 等输入尺寸;再固定选中的尺寸比较 CPU 与 CUDA;最后固定尺寸和后端,扫描 0.25、0.50、0.70 等置信度阈值。每轮使用完全相同的测试图片和标注。

最终记录至少包含 median_ms、P95、FPS、Precision、Recall 与测试条件。若某方案从 640 CPU 的 42 ms 降到 640 CUDA 的 11 ms,而 Precision/Recall 基本不变,可以确认收益来自计算后端;若改成 320 后降到 7 ms 但 Recall 从 0.84 降到 0.71,则应明确这是以漏检增加换来的速度。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

评估检测速度与效果

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通