计算机视觉 / 系统课时
评估检测速度与效果
评估检测速度与效果
目标检测优化不能只看“跑得更快”或“框变多了”。可复现的做法是固定测试集,分别记录推理延迟、FPS、Precision、Recall,再一次只改变置信度阈值、输入尺寸或 DNN 后端,这样才能判断速度提升是否以检测效果为代价。
学习目标
- 建立可重复的检测速度基准,区分预热与正式计时
- 用 Precision、Recall 记录阈值变化带来的效果差异
- 正确比较输入尺寸与 CPU、CUDA 后端,避免一次改多个变量
速度指标要这样测
速度测试至少先预热 10 次,再正式测 100 次,记录中位数和 P95 延迟;只测第一次 forward() 容易把模型初始化、内存分配等一次性成本算进去。FPS 可用 1000 / median_ms 粗略换算,但实时视频还应把预处理、后处理和显示耗时单独记录。
下面脚本适用于 OpenCV 4.x,模型需是 OpenCV DNN 可读取的 ONNX,且预处理确实为 RGB、0~1 归一化、方形输入。若模型固定为单一尺寸,就不要用它比较 320 与 640;应使用支持动态尺寸的模型,或分别导出对应尺寸的模型。
import argparse
import statistics
import time
import cv2
parser = argparse.ArgumentParser()
parser.add_argument("--model", required=True)
parser.add_argument("--image", required=True)
parser.add_argument("--size", type=int, default=640)
parser.add_argument("--backend", choices=["cpu", "cuda"], default="cpu")
args = parser.parse_args()
net = cv2.dnn.readNetFromONNX(args.model)
if args.backend == "cuda":
net.setPreferableBackend(cv2.dnn.DNN_BACKEND_CUDA)
net.setPreferableTarget(cv2.dnn.DNN_TARGET_CUDA)
else:
net.setPreferableBackend(cv2.dnn.DNN_BACKEND_OPENCV)
net.setPreferableTarget(cv2.dnn.DNN_TARGET_CPU)
image = cv2.imread(args.image)
if image is None:
raise FileNotFoundError(args.image)
blob = cv2.dnn.blobFromImage(
image,
scalefactor=1.0 / 255.0,
size=(args.size, args.size),
swapRB=True,
crop=False,
)
for _ in range(10):
net.setInput(blob)
net.forward()
times_ms = []
for _ in range(100):
net.setInput(blob)
start = time.perf_counter()
net.forward()
times_ms.append((time.perf_counter() - start) * 1000.0)
median_ms = statistics.median(times_ms)
p95_ms = sorted(times_ms)[94]
fps = 1000.0 / median_ms
print(
f"size={args.size} backend={args.backend} "
f"median_ms={median_ms:.2f} p95_ms={p95_ms:.2f} fps={fps:.2f}"
)运行时把 <PATH> 换成实际路径,例如 python benchmark.py --model <PATH> --image <PATH> --size 640 --backend cpu。CUDA 仅在 OpenCV 以 CUDA DNN 支持构建且系统 CUDA 环境可用时有效。
预期输出格式:
size=640 backend=cpu median_ms=<TIME> p95_ms=<TIME> fps=<TIME>三个 <TIME> 的实际数值取决于硬件、OpenCV 构建、模型与输入尺寸,因此只比较同一台机器、同一软件环境下的结果。
效果指标不要用框数量代替
检测框更多并不等于效果更好。对有标注的固定测试集,应先按统一 IoU 规则匹配预测与真值,再统计 TP、FP、FN。Precision = TP / (TP + FP),Recall = TP / (TP + FN);若项目使用 COCO 风格评估,再补充 mAP@[0.5:0.95]。
下面是一组用于理解阈值影响的示例记录,不代表任何特定模型。假设测试集共有 200 个目标,输入尺寸固定为 640:
| 置信度阈值 | TP | FP | FN | Precision | Recall |
|---|---|---|---|---|---|
| 0.25 | 168 | 34 | 32 | 0.832 | 0.840 |
| 0.50 | 152 | 12 | 48 | 0.927 | 0.760 |
| 0.70 | 126 | 5 | 74 | 0.962 | 0.630 |
这个例子显示阈值升高后 Precision 提升、Recall 下降。真正选值时,应根据业务代价决定:漏掉安全帽更严重,就优先保 Recall;误报警成本高,就需要更高 Precision。
输入尺寸和后端要分开比较
输入从 320 提到 640,像素数量理论上变为 4 倍,因此很多卷积模型的计算量会明显上升,但实际延迟不会严格按 4 倍增长;同时小目标通常更容易保留细节。比较时固定阈值和后端,只改变尺寸,并记录同一验证集的速度与 Precision/Recall。
后端测试也要固定尺寸、阈值和图像顺序。CPU 可用 DNN_BACKEND_OPENCV + DNN_TARGET_CPU;具备兼容构建时可测试 DNN_BACKEND_CUDA + DNN_TARGET_CUDA。不要因为 CUDA 能启动就默认更快,小模型、频繁数据拷贝或低端 GPU 都可能让收益很小。
用单变量实验做决策
建议按固定顺序做三轮:先在 CPU 上比较 320、640 等输入尺寸;再固定选中的尺寸比较 CPU 与 CUDA;最后固定尺寸和后端,扫描 0.25、0.50、0.70 等置信度阈值。每轮使用完全相同的测试图片和标注。
最终记录至少包含 median_ms、P95、FPS、Precision、Recall 与测试条件。若某方案从 640 CPU 的 42 ms 降到 640 CUDA 的 11 ms,而 Precision/Recall 基本不变,可以确认收益来自计算后端;若改成 320 后降到 7 ms 但 Recall 从 0.84 降到 0.71,则应明确这是以漏检增加换来的速度。