大模型原理与训练 / 系统课时

建立 TTFT、TPOT 与吞吐基线

建立 TTFT、TPOT 与吞吐基线

这一节把“感觉变快”改成可重复验证的性能基线。你会把一次生成拆成首 Token 等待与持续解码两个阶段,固定输入长度、输出长度和并发度运行 vllm bench serve,并同时记录时延分位数、请求吞吐和 Token 吞吐。

学习目标

  • 准确定义 TTFT、TPOT、端到端时延以及请求和 Token 吞吐。
  • 在固定输入、输出与并发条件下运行可复现的服务基准测试。
  • 用同一组指标判断量化、调度或扩容改动是否真的改善性能。

把指标放到同一条时间轴

一次流式请求从客户端发出到收到第一个输出 Token 的时间是 TTFT,记为 TTFT=tfirst−tsendTTFT=t_{first}-t_{send}。它主要反映排队、请求处理和 prefill 阶段的综合等待。端到端时延是 E2E=tlast−tsendE2E=t_{last}-t_{send},覆盖从发送请求到最后一个输出 Token 的全部时间。

当输出 Token 数量 Nout>1N_{out}>1 时,TPOT 可写成 TPOT=(E2E−TTFT)/(Nout−1)TPOT=(E2E-TTFT)/(N_{out}-1)。它把首 Token 之后的解码时间摊到剩余输出 Token 上,因此更适合观察持续生成速度。输出只有一个 Token 时,不应计算 TPOT。

请求吞吐是测试窗口内成功完成的请求数除以持续时间;输出 Token 吞吐是生成 Token 总数除以持续时间。若工具同时报告 Total token throughput,它通常还把输入 Token 计入,因此跨不同输入长度的实验不能只比较这一项。

TTFT TPOT 与吞吐的统一时间轴

固定可比较的实验条件

性能基线的关键不是追求某个漂亮数字,而是让前后实验只有一个变量发生变化。至少固定模型权重与 dtype、GPU 型号和卡数、vLLM 服务参数、输入与输出 Token 长度、并发度、请求总数、随机种子以及缓存状态。

本节采用一组容易复现的基线:输入 512 Token、输出 128 Token、并发 8、请求 64、随机种子 42。--random-range-ratio 0.0 关闭长度波动,--ignore-eos 防止模型提前遇到 EOS 而缩短输出。比较不同服务配置时,应保持这些参数不变。

运行固定负载基准

如果服务尚未启动,可在第一个终端启动与基线一致的模型。这里继续使用单卡和本机端口,避免网络链路成为额外变量。

bash
vllm serve Qwen/Qwen2.5-0.5B-Instruct \
  --host 127.0.0.1 \
  --port 8000

预期结果

text
服务进程保持运行,并可通过 http://127.0.0.1:8000/v1/models 访问。

在第二个终端运行在线服务基准。--request-rate inf 表示尽快提交负载,--max-concurrency 8 把同时在途请求限制为 8;这样每次测试的并发条件保持一致。

bash
vllm bench serve \
  --backend openai-chat \
  --model Qwen/Qwen2.5-0.5B-Instruct \
  --endpoint /v1/chat/completions \
  --dataset-name random \
  --random-input-len 512 \
  --random-output-len 128 \
  --random-range-ratio 0.0 \
  --ignore-eos \
  --seed 42 \
  --num-prompts 64 \
  --request-rate inf \
  --max-concurrency 8 \
  --percentile-metrics ttft,tpot,e2el \
  --metric-percentiles 50,95,99

预期输出中应至少出现以下指标,具体数值取决于 GPU、驱动、模型和服务参数:

text
Successful requests: 64
Request throughput (req/s): <REQ_PER_SEC>
Output token throughput (tok/s): <TOK_PER_SEC>
Mean TTFT (ms): <TTFT_MS>
P95 TTFT (ms): <TTFT_P95_MS>
Mean TPOT (ms): <TPOT_MS>
P95 TPOT (ms): <TPOT_P95_MS>
Mean E2EL (ms): <E2E_MS>
P95 E2EL (ms): <E2E_P95_MS>

<REQ_PER_SEC>、<TOK_PER_SEC> 和各时延值都是动态结果。测试失败时先检查成功请求数,不要把含大量失败请求的高吞吐当成性能提升。

记录基线并判断改动

每次改动至少保留同一组核心证据:TTFT 的 P50/P95/P99、TPOT 的 P50/P95/P99、E2E、请求吞吐、输出 Token 吞吐、成功请求数,以及对应的模型、GPU、并发度、输入输出长度和服务启动参数。单次结果容易受热身和系统抖动影响,正式对比可重复运行多次并比较中位结果。

判断优化是否有效时要同时看延迟和吞吐。例如量化后 Token 吞吐上升,但 P95 TTFT 明显恶化,说明高并发下排队或 prefill 代价可能变差;扩容后请求吞吐提升却单请求 TPOT 不变,则收益主要来自并行容量而不是单流解码速度。只有工作负载和测量口径保持一致,后续每次优化才有可比较证据。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

建立 TTFT、TPOT 与吞吐基线

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通