计算机视觉 / 系统课时

导出 TensorRT 引擎

导出 TensorRT 引擎

本课把训练得到的 YOLOv8 权重转换为可部署的 TensorRT 引擎,并用统一数据比较 FP32、FP16 与 INT8 的延迟和精度差异。完成后,你将得到可验证、可选择而不是只看文件是否生成的导出结果。

学习目标

  • 检查 GPU、驱动、CUDA 与 Ultralytics 是否满足 TensorRT 导出条件
  • 导出 FP32、FP16 和 INT8 三种精度的 .engine 文件
  • 使用相同输入与验证集比较速度、精度损失和部署代价

先确定可导出的环境

TensorRT 面向 NVIDIA GPU,导出过程会根据当前 GPU、TensorRT 版本和输入尺寸选择执行内核。因此,生产引擎应尽量在目标部署机或相同型号 GPU、相同软件栈中构建;换 GPU、驱动或 TensorRT 大版本后,应重新导出并验证。

Ultralytics 当前导出接口使用 format="engine" 生成 TensorRT 引擎,FP16 和 INT8 可分别通过 quantize=16 与 quantize=8 指定。INT8 还需要代表性数据完成校准,并应在实际部署设备上完成校准。:contentReference[oaicite:0]{index=0}

TensorRT 引擎导出与验证流程

先在准备导出的虚拟环境中执行检查。最新 TensorRT 的具体 CUDA、驱动和 GPU 架构要求会随版本变化,应以所安装版本的支持矩阵为准。

bash
nvidia-smi --query-gpu=name,driver_version,memory.total --format=csv,noheader
python - <<'PY'
import torch
import ultralytics

print(f"CUDA available: {torch.cuda.is_available()}")
print(f"PyTorch CUDA: {torch.version.cuda}")
print(f"Ultralytics: {ultralytics.__version__}")
PY

预期输出如下,尖括号中的实际值会因机器而异:

text
<GPU_NAME>, <DRIVER_VERSION>, <MEMORY_MIB> MiB
CUDA available: True
PyTorch CUDA: <CUDA_VERSION>
Ultralytics: <ULTRALYTICS_VERSION>

若 CUDA available 为 False,先修复 PyTorch CUDA 环境;若 nvidia-smi 无法执行,先处理驱动问题。不要在 CPU 环境中继续尝试 TensorRT 导出。

生成三种精度引擎

下面的完整脚本从同一份 best.pt 构建三种引擎,并在每次导出后重命名,避免后一次导出覆盖前一次结果。把 WEIGHTS 和 DATA 改成自己的权重与数据集配置路径。

python
from pathlib import Path
import shutil

from ultralytics import YOLO

WEIGHTS = Path("runs/detect/train/weights/best.pt")
DATA = Path("data.yaml")
OUTPUT_DIR = Path("deploy")
OUTPUT_DIR.mkdir(parents=True, exist_ok=True)

def export_engine(label: str, **options: object) -> Path:
    # 每次重新加载原始权重,确保三个精度分支使用同一模型起点
    model = YOLO(str(WEIGHTS))
    exported = Path(
        model.export(
            format="engine",
            imgsz=640,
            batch=1,
            device=0,
            dynamic=False,
            workspace=4,
            **options,
        )
    )

    target = OUTPUT_DIR / f"best-{label}.engine"
    if target.exists():
        target.unlink()
    shutil.move(str(exported), target)
    return target

if __name__ == "__main__":
    print(f"fp32: {export_engine('fp32')}")
    print(f"fp16: {export_engine('fp16', quantize=16)}")
    print(
        "int8:",
        export_engine(
            "int8",
            quantize=8,
            data=str(DATA),
            fraction=1.0,
        ),
    )

预期结果是 deploy 目录出现三个文件,脚本末尾输出:

text
fp32: deploy/best-fp32.engine
fp16: deploy/best-fp16.engine
int8: deploy/best-int8.engine

workspace=4 表示最多提供 4 GiB 构建工作区,并不等于最终引擎大小。显存不足时先降低 workspace、batch 或 imgsz。INT8 的 data.yaml 必须能访问代表真实业务分布的图片,否则校准速度虽可能提升,精度损失却可能不可接受。

用同一输入比较速度和误差

只比较单次首帧耗时会把引擎初始化和缓存开销算进去。下面先预热,再对同一张图片测量平均延迟,同时在同一验证集上读取 mAP50 与 mAP50-95。

python
from pathlib import Path
from statistics import mean
from time import perf_counter

import torch
from ultralytics import YOLO

DATA = "data.yaml"
IMAGE = "datasets/project/images/val/sample.jpg"
ENGINES = {
    "fp32": Path("deploy/best-fp32.engine"),
    "fp16": Path("deploy/best-fp16.engine"),
    "int8": Path("deploy/best-int8.engine"),
}

def average_latency_ms(model: YOLO, warmup: int = 10, runs: int = 50) -> float:
    for _ in range(warmup):
        model.predict(IMAGE, imgsz=640, device=0, verbose=False)

    costs = []
    for _ in range(runs):
        torch.cuda.synchronize()
        started = perf_counter()
        model.predict(IMAGE, imgsz=640, device=0, verbose=False)
        torch.cuda.synchronize()
        costs.append((perf_counter() - started) * 1000)
    return mean(costs)

if __name__ == "__main__":
    baseline_map = None
    for label, engine_path in ENGINES.items():
        model = YOLO(str(engine_path), task="detect")
        latency = average_latency_ms(model)
        metrics = model.val(data=DATA, imgsz=640, batch=1, device=0, verbose=False)

        current_map = float(metrics.box.map)
        if baseline_map is None:
            baseline_map = current_map
        delta = current_map - baseline_map

        print(
            f"{label}: latency={latency:.2f} ms, "
            f"mAP50={float(metrics.box.map50):.4f}, "
            f"mAP50-95={current_map:.4f}, delta={delta:+.4f}"
        )

预期输出格式如下,具体数值由 GPU、模型和数据集决定:

text
fp32: latency=<LATENCY_MS> ms, mAP50=<MAP50>, mAP50-95=<MAP>, delta=+0.0000
fp16: latency=<LATENCY_MS> ms, mAP50=<MAP50>, mAP50-95=<MAP>, delta=<DELTA>
int8: latency=<LATENCY_MS> ms, mAP50=<MAP50>, mAP50-95=<MAP>, delta=<DELTA>

比较时必须固定 imgsz、batch、验证集、预处理和置信度设置。若只改变精度却同时改变输入尺寸,得到的速度与精度差异就无法归因。

选择精度并处理失败

精度 主要特点 适用选择
FP32 精度基线稳定,通常速度和显存占用最高 用于建立基准或硬件不适合低精度时
FP16 通常能明显降低延迟与显存,精度变化较小 支持 FP16 的 NVIDIA GPU 上优先验证
INT8 延迟和吞吐潜力最高,但依赖校准数据 边缘部署或高吞吐场景,且精度损失可接受

导出报显存不足时,按 workspace、batch、imgsz 的顺序逐步降低资源要求。加载引擎出现版本或硬件不兼容时,不要复制旧引擎反复尝试,应在目标环境重新构建。INT8 指标下降明显时,先检查校准数据是否覆盖小目标、弱光、遮挡和主要类别,再决定是否扩大校准集或退回 FP16。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

导出 TensorRT 引擎

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通