大模型原理与训练 / 系统课时
测量延迟吞吐与显存占用
测量延迟吞吐与显存占用
性能基准最容易被“预热次数不同、输入输出长度不同、采样参数不同”污染。本节建立一套固定条件下的单请求基准方法,分别测量 TTFT、TPOT、生成吞吐和峰值显存,并说明如何扩展到并发测试,让压缩前后的结果可以重复比较。
学习目标
- 固定预热、输入长度、输出长度和解码策略,消除主要测试偏差。
- 正确计算 TTFT、TPOT、生成吞吐与峰值显存。
- 用重复采样和分位数结果形成可复现的性能基准。
先固定基准条件
比较两个模型前,应锁定同一块 GPU、同一推理框架版本、同一输入 Token 数、同一输出 Token 数、相同精度与采样参数。若要测试纯模型性能,建议先使用贪心解码,避免温度、Top-p 和随机种子给结果引入额外波动。
每轮正式测试前先预热,使 CUDA Kernel、权重页和缓存进入稳定状态。冷启动时间可以单独记录,但不要与稳定阶段 TTFT 混在一起。显存也要先清空旧峰值统计,再在本轮测量范围内读取峰值。
区分四个核心性能指标
TTFT 是请求开始到第一个新 Token 产生的时间,直接影响用户看到模型“开始回答”的速度。TPOT 是第一个 Token 之后,每生成一个后续 Token 的平均耗时,更能反映长回答阶段的流畅度。
若生成了 个新 Token,总耗时为 ,则单请求生成吞吐可近似写成 。并发服务场景还应额外统计服务端总吞吐,因为连续批处理会让系统总 Token/s 与单请求 Token/s 出现明显差异。
峰值显存应读取稳定推理阶段的最大已分配或最大保留显存,并在报告中注明口径。不同框架的“allocated”“reserved”含义不同,不能把两个口径混在同一张表里。
用最小脚本采集单请求基准
下面示例使用 PyTorch 和 Transformers,在 CUDA 上进行固定长度的贪心逐 Token 解码。它先预热,再重置峰值显存,最后输出实际输入长度、生成长度、TTFT、TPOT、单请求吞吐和峰值已分配显存。运行前把环境变量 MODEL_PATH 指向可被 Transformers 加载的本地因果语言模型目录。
import os
import time
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
MODEL_PATH = os.environ["MODEL_PATH"]
INPUT_TOKENS = 512
OUTPUT_TOKENS = 64
WARMUP_ROUNDS = 2
tokenizer = AutoTokenizer.from_pretrained(MODEL_PATH)
model = AutoModelForCausalLM.from_pretrained(
MODEL_PATH,
torch_dtype=torch.float16,
).cuda().eval()
seed = tokenizer(
"benchmark latency throughput memory ",
add_special_tokens=False,
return_tensors="pt",
)["input_ids"][0]
repeat = (INPUT_TOKENS + len(seed) - 1) // len(seed)
input_ids = seed.repeat(repeat)[:INPUT_TOKENS].unsqueeze(0).cuda()
attention_mask = torch.ones_like(input_ids)
@torch.inference_mode()
def decode_once():
ids = input_ids
mask = attention_mask
past = None
first_token_s = None
start = time.perf_counter()
for step in range(OUTPUT_TOKENS):
outputs = model(
input_ids=ids,
attention_mask=mask,
past_key_values=past,
use_cache=True,
)
next_token = outputs.logits[:, -1, :].argmax(dim=-1, keepdim=True)
past = outputs.past_key_values
ids = next_token
mask = torch.cat([mask, torch.ones((1, 1), device=mask.device, dtype=mask.dtype)], dim=1)
torch.cuda.synchronize()
if step == 0:
first_token_s = time.perf_counter() - start
total_s = time.perf_counter() - start
return first_token_s, total_s
for _ in range(WARMUP_ROUNDS):
decode_once()
torch.cuda.reset_peak_memory_stats()
torch.cuda.synchronize()
ttft_s, total_s = decode_once()
tpot_s = (total_s - ttft_s) / max(OUTPUT_TOKENS - 1, 1)
throughput = OUTPUT_TOKENS / total_s
peak_gib = torch.cuda.max_memory_allocated() / 1024**3
print(f"input_tokens={INPUT_TOKENS}")
print(f"output_tokens={OUTPUT_TOKENS}")
print(f"ttft_ms={ttft_s * 1000:.2f}")
print(f"tpot_ms={tpot_s * 1000:.2f}")
print(f"throughput_tok_s={throughput:.2f}")
print(f"peak_allocated_gib={peak_gib:.2f}")预期输出
input_tokens=512
output_tokens=64
ttft_ms=<TIME>
tpot_ms=<TIME>
throughput_tok_s=<TOKENS_PER_SECOND>
peak_allocated_gib=<GIB>其中 <TIME>、<TOKENS_PER_SECOND> 和 <GIB> 会随 GPU、模型和软件栈变化。比较候选模型时必须保持脚本参数与环境一致,并记录实际版本信息。
从单次结果升级为可靠基准
单次运行容易受 GPU 频率、后台任务和缓存状态影响。正式基准应执行多轮,例如 30~100 次,并分别保存 TTFT、TPOT 和总耗时。延迟至少报告 P50 与 P95;吞吐报告稳定窗口平均值,同时保留失败请求数。
压缩模型与基线模型必须使用相同的请求集合和运行顺序。若显存不足导致候选模型只能使用不同批大小,应把它记录为测试条件变化,并另做“固定资源上限下的最大吞吐”实验,不能直接与固定批大小结果混为一谈。
测并发时同时看吞吐和尾延迟
并发测试应按 1、2、4、8 等档位逐级增加请求数,每个档位持续足够长时间,使调度器进入稳定状态。每一档同时记录服务端总 Token/s、P50/P95 TTFT、P50/P95 TPOT、错误率和峰值显存。
最大并发能力不是“程序没有崩溃的最大请求数”,而是所有关键 SLO 仍满足时的最高并发档位。当吞吐继续增加但 P95 TTFT 已超过门槛,应判定该档位不可用。
最终报告应把测试条件与结果放在同一张表中:模型版本、输入/输出长度、预热轮数、并发、TTFT、TPOT、Token/s、峰值显存和失败率缺一不可。只有测量条件可复现,压缩前后的性能差异才有上线决策价值。