计算机视觉 / 系统课时
使用半精度推理
使用半精度推理
本课解决 YOLOv5 在 GPU 上推理速度不够快、显存占用偏高的问题。你将使用 --half 开启 FP16 推理,并通过同一批图片对比 FP32 与 FP16 的速度、显存和检测结果,判断半精度是否适合当前设备。
学习目标
- 理解 FP16 对显存、吞吐量和检测精度的影响。
- 在 YOLOv5 的
detect.py中正确开启半精度推理。 - 用一致的输入和参数验证加速效果与结果稳定性。
FP16 能带来什么
YOLOv5 默认通常使用 FP32,即每个浮点数占 4 字节。FP16 将权重和中间特征改为 16 位表示,单个数值只占 2 字节,因此通常能降低模型推理阶段的显存压力。
在支持 Tensor Core 或高效半精度计算的 NVIDIA GPU 上,FP16 还可能缩短卷积计算时间。实际收益取决于显卡架构、输入尺寸、批量大小和数据预处理开销,不能简单理解为速度一定翻倍。
| 对比项 | FP32 | FP16 |
|---|---|---|
| 数值宽度 | 32 位 | 16 位 |
| 单个浮点数占用 | 4 字节 | 2 字节 |
| GPU 显存压力 | 较高 | 通常更低 |
| 数值精度 | 更高 | 略低 |
| CPU 支持 | 完整 | 不适合作为 YOLOv5 常规推理模式 |
| GPU 加速收益 | 基准 | 取决于硬件支持 |
在 detect.py 中开启半精度
先确认当前环境能够使用 CUDA,并准备同一份权重和测试图片。下面分别执行 FP32 与 FP16 推理,除 --half 和输出目录名称外,其余参数保持一致。
python detect.py --weights runs/train/exp/weights/best.pt --source data/images --imgsz 640 --device 0 --name fp32 --exist-ok
python detect.py --weights runs/train/exp/weights/best.pt --source data/images --imgsz 640 --device 0 --half --name fp16 --exist-ok预期输出
Speed: <PREPROCESS_MS>ms pre-process, <FP32_INFERENCE_MS>ms inference, <NMS_MS>ms NMS per image
Results saved to runs/detect/fp32
Speed: <PREPROCESS_MS>ms pre-process, <FP16_INFERENCE_MS>ms inference, <NMS_MS>ms NMS per image
Results saved to runs/detect/fp16<FP32_INFERENCE_MS> 等值会随显卡、图片数量和系统负载变化。判断是否加速时,应重点比较两次输出中的 inference 时间,而不是只比较程序总耗时,因为首次加载模型和读取文件也会占用时间。
正确比较速度与显存
正式测试前先执行一次预热推理,让 CUDA 完成内核加载和显存分配。随后使用数量足够、分辨率一致的图片重复测试,并保持权重、输入尺寸、置信度阈值和 NMS 参数完全相同。
速度测试至少记录单张推理时间和总吞吐量。显存测试可在程序运行时观察 nvidia-smi,但要注意其中还包含 CUDA 上下文、模型权重和缓存,并不会严格减半。
检测结果也需要抽查。FP16 会引入轻微数值差异,置信度接近阈值的候选框可能出现保留或丢弃差别。只要整体指标、框位置和类别结果保持在可接受范围内,这类微小变化通常属于正常现象。
兼容性与典型问题
当 --device 指向 CPU 时,不要强制使用 FP16。若出现半精度卷积不支持、张量类型不一致或模型运行失败,先检查日志中的设备是否确实为 CUDA,再确认 PyTorch 与显卡驱动能够正常识别 GPU。
如果 FP16 没有明显提速,常见原因是显卡对半精度计算支持有限、单张图片规模太小,或总耗时主要消耗在读取、缩放和 NMS 上。此时可继续尝试批量推理,让一次前向计算处理多张图片,提高 GPU 利用率。
若检测结果变化过大,应使用验证集重新计算 mAP,并确认没有同时修改输入尺寸、阈值或模型权重。性能优化必须建立在结果可接受的前提上,而不是只追求更低的推理时间。
本课总结
- FP16 通常能降低 YOLOv5 推理显存,并在合适的 NVIDIA GPU 上提升速度。
- 使用
--half时必须配合 CUDA 设备,并用相同输入和参数进行公平对比。 - 是否采用半精度应同时依据推理时间、显存占用和检测结果稳定性判断。
下一课预告
下一课将调整批量推理,让一次前向计算处理多张图片,并区分吞吐量提升与单次延迟增加之间的差异。