计算机视觉 / 系统课时

调整批量推理

调整批量推理

本课解决逐张推理无法充分利用 GPU 的问题。你将编写一个可运行的批量推理脚本,测量每批耗时、平均单图延迟和总体吞吐量,并根据实时或离线场景选择合适的批量大小。

学习目标

  • 区分吞吐量、平均单图耗时和端到端延迟。
  • 使用 YOLOv5 一次处理多张图片。
  • 通过递增测试找到性能与显存之间的平衡点。

先区分吞吐量与延迟

批量大小表示一次前向计算同时送入模型的图片数量。批量增大后,GPU 可以并行处理更多数据,单位时间完成的图片数通常会上升,这个指标称为吞吐量。

吞吐量可写为 throughput=imagestotal time\text{throughput}=\frac{\text{images}}{\text{total time}}。平均单图耗时则是总推理时间除以图片数,但它不等于用户真正感受到的端到端延迟,因为图片还可能在队列中等待凑满一批。

场景 推荐倾向 主要原因
摄像头实时检测 小批量或批量 1 优先降低等待时间
图片离线处理 尽可能大的稳定批量 优先提高吞吐量
多路视频流 中等批量 在等待时间与 GPU 利用率之间折中

批量推理的数据路径

批量推理不是简单地把循环次数减少,而是先收集多张图片,统一完成预处理和张量拼接,再执行一次 GPU 前向计算,最后按图片拆分检测结果。

批量推理中的组批、GPU 前向计算与结果拆分流程

编写批量推理脚本

下面的脚本应放在 YOLOv5 项目根目录中运行。它通过本地 torch.hub 加载自定义权重,先进行一次预热,再按指定批量大小处理目录中的图片。

python
import argparse
import time
from pathlib import Path
from typing import Iterator, List

import torch

IMAGE_EXTENSIONS = {".jpg", ".jpeg", ".png", ".bmp", ".webp"}

def split_batches(items: List[Path], batch_size: int) -> Iterator[List[Path]]:
    for start in range(0, len(items), batch_size):
        yield items[start:start + batch_size]

@torch.inference_mode()
def main() -> None:
    parser = argparse.ArgumentParser()
    parser.add_argument("--weights", required=True)
    parser.add_argument("--source", required=True)
    parser.add_argument("--batch-size", type=int, default=8)
    parser.add_argument("--img-size", type=int, default=640)
    parser.add_argument("--device", default="cuda:0")
    args = parser.parse_args()

    if args.batch_size < 1:
        raise ValueError("batch-size 必须大于等于 1")

    image_paths = sorted(
        path for path in Path(args.source).rglob("*")
        if path.is_file() and path.suffix.lower() in IMAGE_EXTENSIONS
    )
    if not image_paths:
        raise FileNotFoundError("输入目录中没有可推理的图片")

    device = torch.device(args.device)
    model = torch.hub.load(
        ".",
        "custom",
        path=args.weights,
        source="local"
    ).to(device).eval()

    # 预热不计入正式统计,避免首次 CUDA 初始化干扰结果。
    model([str(image_paths[0])], size=args.img_size)
    if device.type == "cuda":
        torch.cuda.synchronize()

    total_images = 0
    total_elapsed = 0.0

    for batch_index, batch_paths in enumerate(
        split_batches(image_paths, args.batch_size),
        start=1
    ):
        if device.type == "cuda":
            torch.cuda.synchronize()
        started = time.perf_counter()

        results = model(
            [str(path) for path in batch_paths],
            size=args.img_size
        )

        if device.type == "cuda":
            torch.cuda.synchronize()
        elapsed = time.perf_counter() - started

        detections = sum(len(prediction) for prediction in results.xyxy)
        total_images += len(batch_paths)
        total_elapsed += elapsed

        print(
            f"Batch {batch_index}: {len(batch_paths)} images, "
            f"{detections} detections, {elapsed * 1000:.1f} ms"
        )

    throughput = total_images / total_elapsed
    average_ms = total_elapsed * 1000 / total_images
    print(
        f"Total: {total_images} images, "
        f"throughput {throughput:.1f} images/s, "
        f"average {average_ms:.1f} ms/image"
    )

if __name__ == "__main__":
    main()

使用批量大小 8 运行脚本:

bash
python batch_infer.py --weights runs/train/exp/weights/best.pt --source data/images --batch-size 8 --img-size 640 --device cuda:0

预期输出

text
Batch 1: 8 images, <DETECTION_COUNT> detections, <BATCH_TIME> ms
Batch 2: <IMAGE_COUNT> images, <DETECTION_COUNT> detections, <BATCH_TIME> ms
Total: <TOTAL_IMAGES> images, throughput <IMAGES_PER_SECOND> images/s, average <AVERAGE_MS> ms/image

占位值会随图片数量、目标数量和硬件性能变化。脚本中的平均耗时只统计模型调用阶段,不包含业务系统中的排队、网络传输和结果持久化时间。

找到合适的批量大小

从批量 1 开始,按 2、4、8、16 逐步增加,每次使用同一批图片执行多轮测试。记录吞吐量、单批耗时、平均单图耗时和峰值显存,直到吞吐量提升趋缓或出现显存不足。

实时系统不能只看平均单图耗时。批量越大,第一张图片等待同批其他图片到达的时间可能越长,因此摄像头或交互式接口通常使用小批量。离线图片处理没有严格响应时间要求,可以选择更大的稳定批量。

不同尺寸的图片会在组批时统一缩放和填充。若同一批图片长宽差异很大,填充区域会增加无效计算。将相近尺寸或相近宽高比的图片分组,通常能获得更稳定的吞吐量。

显存不足与测量偏差

出现 CUDA out of memory 时,先减小批量大小,再考虑降低输入尺寸或启用 FP16。不要在同一块 GPU 上同时运行其他占用大量显存的任务,否则测试结果会失真。

每个批量大小至少重复测试数次,并排除第一次预热结果。比较时保持模型、图片、输入尺寸、置信度阈值和软件环境一致,否则无法判断性能变化究竟来自批量调整还是其他参数。

最终批量大小应以业务目标为准:实时接口关注端到端延迟上限,离线任务关注单位时间处理量,多路视频则需要同时约束等待时间、显存和每路帧率。

本课总结

  • 批量推理通常能提高 GPU 吞吐量,但可能增加图片等待组批的延迟。
  • 合适的批量大小需要通过递增测试确定,不能只依据显存容量猜测。
  • 性能测试必须预热并保持输入与参数一致,同时记录吞吐量、延迟和峰值显存。

下一课预告

下一课将继续围绕模型导出与部署优化,比较不同推理后端的兼容性、速度和部署成本。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

调整批量推理

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通