大模型原理与训练 / 系统课时

用 TensorRT-LLM 构建引擎

用 TensorRT-LLM 构建引擎

本节把 Hugging Face 权重转换为可加载的 TensorRT-LLM 引擎,并把并行、插件与构建边界落到实际命令中。你会得到一套可复现的构建流程,也会知道哪些优化必须在权重阶段决定。

学习目标

  • 说清权重转换、并行切分、引擎构建与运行时加载之间的关系
  • 用固定版本完成单卡 TensorRT-LLM 引擎构建并验证产物
  • 区分算子插件、量化与并行策略进入引擎的不同位置,并记录构建成本与推理收益

先固定可构建引擎的版本

截至 2026 年 9 月,TensorRT-LLM 当前版本已移除 TensorRT engine backend、trtllm-build 和按模型转换脚本,新项目改为直接加载 Hugging Face 权重并使用 trtllm-serve 或 LLM API。为了完整复现“转换权重→构建引擎”的流程,本节固定使用仍保留该能力的 1.1.0 环境。([NVIDIA GitHub Pages][1])

先确认 GPU 容器中仍有构建工具。宿主机需要可用的 NVIDIA 驱动、Docker 与 NVIDIA Container Toolkit。

bash
docker run --rm --gpus all \
  nvcr.io/nvidia/tensorrt-llm/release:1.1.0 \
  bash -lc 'command -v trtllm-build >/dev/null && echo "trtllm-build=OK"'

预期输出

text
trtllm-build=OK

TensorRT-LLM 从权重到引擎的构建链路

转换权重并写入并行映射

TensorRT-LLM 的旧式流程先把训练框架权重转成统一 checkpoint。config.json 保存模型结构与 mapping,rank<N>.safetensors 保存各并行 rank 的权重分片;因此 TP/PP 不是构建后再临时添加,而是在转换时就决定权重如何切分。([NVIDIA GitHub Pages][2])

下面用公开的 TinyLlama 做单卡演示。真实大模型只需替换模型目录,并按 GPU 数量调整 --tp_size、--pp_size。

bash
mkdir -p "$PWD/tllm-work/models" "$PWD/tllm-work/artifacts"

docker run --rm --gpus all --ipc=host \
  -v "$PWD/tllm-work:/workspace" \
  nvcr.io/nvidia/tensorrt-llm/release:1.1.0 \
  bash -lc '
    set -euo pipefail
    MODEL_DIR=/workspace/models/tinyllama
    CKPT_DIR=/workspace/artifacts/tinyllama-ckpt

    python3 - <<'"'"'PY'"'"'
from huggingface_hub import snapshot_download
snapshot_download(
    repo_id="TinyLlama/TinyLlama-1.1B-Chat-v1.0",
    local_dir="/workspace/models/tinyllama",
)
PY

    cd /app/tensorrt_llm/examples/models/core/llama
    python3 convert_checkpoint.py \
      --model_dir "$MODEL_DIR" \
      --dtype float16 \
      --tp_size 1 \
      --pp_size 1 \
      --output_dir "$CKPT_DIR"

    test -f "$CKPT_DIR/config.json"
    test -f "$CKPT_DIR/rank0.safetensors"
    echo "checkpoint=OK"
  '

预期输出

text
checkpoint=OK

如果要做 FP8、AWQ 或其他低精度方案,应先用该版本支持的量化流程生成带量化权重与尺度信息的 checkpoint,再构建引擎;构建器只能消费已有的量化表示,不能把普通 FP16 权重“凭空变成”正确的校准量化模型。

构建引擎并固化运行边界

构建阶段会根据 checkpoint、最大 batch、输入长度和总序列长度创建优化 profile,并选择 TensorRT tactic。gpt_attention_plugin、gemm_plugin 等插件把高频模式映射到专用实现;当前 CLI 也把 fused attention、去 padding 等能力作为 build 配置暴露。([NVIDIA GitHub Pages][3])

继续用同一个工作目录构建引擎,并记录一次性构建耗时。max_seq_len 是输入与输出合计上限,因此不能只按 prompt 长度设置。

bash
docker run --rm --gpus all --ipc=host \
  -v "$PWD/tllm-work:/workspace" \
  nvcr.io/nvidia/tensorrt-llm/release:1.1.0 \
  bash -lc '
    set -euo pipefail
    CKPT_DIR=/workspace/artifacts/tinyllama-ckpt
    ENGINE_DIR=/workspace/artifacts/tinyllama-engine

    started=$(date +%s)
    trtllm-build \
      --checkpoint_dir "$CKPT_DIR" \
      --output_dir "$ENGINE_DIR" \
      --gpt_attention_plugin float16 \
      --gemm_plugin float16 \
      --max_batch_size 4 \
      --max_input_len 512 \
      --max_seq_len 768

    elapsed=$(( $(date +%s) - started ))
    test -f "$ENGINE_DIR/config.json"
    find "$ENGINE_DIR" -maxdepth 1 -type f -name "*.engine" -print -quit | grep -q .
    printf "engine=OK\nbuild_seconds=%s\n" "$elapsed"
  '

预期输出

text
engine=OK
build_seconds=<TIME>

<TIME> 取决于 GPU、模型大小和 tactic 搜索。构建失败时优先检查三件事:checkpoint mapping 是否与可见 GPU 数量一致、长度和 batch 上限是否造成显存不足、量化 checkpoint 与所选插件精度是否匹配。

加载引擎并验证生成

引擎构建成功不等于运行时一定可加载。最直接的验收是用同版本运行时加载引擎并完成一次生成;这能同时暴露反序列化、tokenizer、GPU 兼容性和并行 rank 不一致等问题。

bash
docker run --rm --gpus all --ipc=host \
  -v "$PWD/tllm-work:/workspace" \
  nvcr.io/nvidia/tensorrt-llm/release:1.1.0 \
  bash -lc '
    python3 /app/tensorrt_llm/examples/run.py \
      --engine_dir /workspace/artifacts/tinyllama-engine \
      --tokenizer_dir /workspace/models/tinyllama \
      --input_text "The capital of France is" \
      --max_output_len 16
  '

预期输出

text
Input [Text 0]: "The capital of France is"
Output [Text 0 Beam 0]: "<GENERATED_TEXT>"

生成文本会随采样配置与实现细节变化,因此验收重点是引擎成功加载、请求完成且输出非空,不应把某一句自然语言结果当成二进制兼容性测试。

用同一负载记录收益

不要用“构建成功”代替性能结论。至少在同一块 GPU、同一模型、同一 prompt 集、同一输出长度与并发条件下,对基线和引擎分别记录 TTFT、每 token 延迟、输出 tokens/s、峰值显存和错误率。

指标 基线运行时 TensorRT-LLM 引擎 判断重点
一次性构建时间 0 实测 是否能被长期复用抵消
TTFT 实测 实测 交互延迟是否改善
输出 tokens/s 实测 实测 吞吐是否提升
峰值 GPU 显存 实测 实测 是否释放更多并发空间
结果一致性 基准输出 对比输出 量化后是否仍满足质量阈值

如果收益很小,先检查 workload 是否命中构建 profile,再看 batch、序列长度、插件和精度是否与真实流量一致。对 2026 年的新部署,还应把旧式 engine build 与当前 PyTorch backend 的 trtllm-serve 方案做同负载对比,而不是因为“引擎”这个名词就默认它更快。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

用 TensorRT-LLM 构建引擎

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通