计算机视觉 / 系统课时

使用半精度推理

使用半精度推理

本课解决 YOLOv5 在 GPU 上推理速度不够快、显存占用偏高的问题。你将使用 --half 开启 FP16 推理,并通过同一批图片对比 FP32 与 FP16 的速度、显存和检测结果,判断半精度是否适合当前设备。

学习目标

  • 理解 FP16 对显存、吞吐量和检测精度的影响。
  • 在 YOLOv5 的 detect.py 中正确开启半精度推理。
  • 用一致的输入和参数验证加速效果与结果稳定性。

FP16 能带来什么

YOLOv5 默认通常使用 FP32,即每个浮点数占 4 字节。FP16 将权重和中间特征改为 16 位表示,单个数值只占 2 字节,因此通常能降低模型推理阶段的显存压力。

在支持 Tensor Core 或高效半精度计算的 NVIDIA GPU 上,FP16 还可能缩短卷积计算时间。实际收益取决于显卡架构、输入尺寸、批量大小和数据预处理开销,不能简单理解为速度一定翻倍。

对比项 FP32 FP16
数值宽度 32 位 16 位
单个浮点数占用 4 字节 2 字节
GPU 显存压力 较高 通常更低
数值精度 更高 略低
CPU 支持 完整 不适合作为 YOLOv5 常规推理模式
GPU 加速收益 基准 取决于硬件支持

在 detect.py 中开启半精度

先确认当前环境能够使用 CUDA,并准备同一份权重和测试图片。下面分别执行 FP32 与 FP16 推理,除 --half 和输出目录名称外,其余参数保持一致。

bash
python detect.py --weights runs/train/exp/weights/best.pt --source data/images --imgsz 640 --device 0 --name fp32 --exist-ok
python detect.py --weights runs/train/exp/weights/best.pt --source data/images --imgsz 640 --device 0 --half --name fp16 --exist-ok

预期输出

text
Speed: <PREPROCESS_MS>ms pre-process, <FP32_INFERENCE_MS>ms inference, <NMS_MS>ms NMS per image
Results saved to runs/detect/fp32
Speed: <PREPROCESS_MS>ms pre-process, <FP16_INFERENCE_MS>ms inference, <NMS_MS>ms NMS per image
Results saved to runs/detect/fp16

<FP32_INFERENCE_MS> 等值会随显卡、图片数量和系统负载变化。判断是否加速时,应重点比较两次输出中的 inference 时间,而不是只比较程序总耗时,因为首次加载模型和读取文件也会占用时间。

正确比较速度与显存

正式测试前先执行一次预热推理,让 CUDA 完成内核加载和显存分配。随后使用数量足够、分辨率一致的图片重复测试,并保持权重、输入尺寸、置信度阈值和 NMS 参数完全相同。

速度测试至少记录单张推理时间和总吞吐量。显存测试可在程序运行时观察 nvidia-smi,但要注意其中还包含 CUDA 上下文、模型权重和缓存,并不会严格减半。

检测结果也需要抽查。FP16 会引入轻微数值差异,置信度接近阈值的候选框可能出现保留或丢弃差别。只要整体指标、框位置和类别结果保持在可接受范围内,这类微小变化通常属于正常现象。

兼容性与典型问题

当 --device 指向 CPU 时,不要强制使用 FP16。若出现半精度卷积不支持、张量类型不一致或模型运行失败,先检查日志中的设备是否确实为 CUDA,再确认 PyTorch 与显卡驱动能够正常识别 GPU。

如果 FP16 没有明显提速,常见原因是显卡对半精度计算支持有限、单张图片规模太小,或总耗时主要消耗在读取、缩放和 NMS 上。此时可继续尝试批量推理,让一次前向计算处理多张图片,提高 GPU 利用率。

若检测结果变化过大,应使用验证集重新计算 mAP,并确认没有同时修改输入尺寸、阈值或模型权重。性能优化必须建立在结果可接受的前提上,而不是只追求更低的推理时间。

本课总结

  • FP16 通常能降低 YOLOv5 推理显存,并在合适的 NVIDIA GPU 上提升速度。
  • 使用 --half 时必须配合 CUDA 设备,并用相同输入和参数进行公平对比。
  • 是否采用半精度应同时依据推理时间、显存占用和检测结果稳定性判断。

下一课预告

下一课将调整批量推理,让一次前向计算处理多张图片,并区分吞吐量提升与单次延迟增加之间的差异。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

使用半精度推理

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通