大模型原理与训练 / 系统课时

测量延迟吞吐与显存占用

测量延迟吞吐与显存占用

性能基准最容易被“预热次数不同、输入输出长度不同、采样参数不同”污染。本节建立一套固定条件下的单请求基准方法,分别测量 TTFT、TPOT、生成吞吐和峰值显存,并说明如何扩展到并发测试,让压缩前后的结果可以重复比较。

学习目标

  • 固定预热、输入长度、输出长度和解码策略,消除主要测试偏差。
  • 正确计算 TTFT、TPOT、生成吞吐与峰值显存。
  • 用重复采样和分位数结果形成可复现的性能基准。

先固定基准条件

比较两个模型前,应锁定同一块 GPU、同一推理框架版本、同一输入 Token 数、同一输出 Token 数、相同精度与采样参数。若要测试纯模型性能,建议先使用贪心解码,避免温度、Top-p 和随机种子给结果引入额外波动。

每轮正式测试前先预热,使 CUDA Kernel、权重页和缓存进入稳定状态。冷启动时间可以单独记录,但不要与稳定阶段 TTFT 混在一起。显存也要先清空旧峰值统计,再在本轮测量范围内读取峰值。

区分四个核心性能指标

TTFT 是请求开始到第一个新 Token 产生的时间,直接影响用户看到模型“开始回答”的速度。TPOT 是第一个 Token 之后,每生成一个后续 Token 的平均耗时,更能反映长回答阶段的流畅度。

若生成了 NN 个新 Token,总耗时为 TT,则单请求生成吞吐可近似写成 N/TN/T。并发服务场景还应额外统计服务端总吞吐,因为连续批处理会让系统总 Token/s 与单请求 Token/s 出现明显差异。

峰值显存应读取稳定推理阶段的最大已分配或最大保留显存,并在报告中注明口径。不同框架的“allocated”“reserved”含义不同,不能把两个口径混在同一张表里。

用最小脚本采集单请求基准

下面示例使用 PyTorch 和 Transformers,在 CUDA 上进行固定长度的贪心逐 Token 解码。它先预热,再重置峰值显存,最后输出实际输入长度、生成长度、TTFT、TPOT、单请求吞吐和峰值已分配显存。运行前把环境变量 MODEL_PATH 指向可被 Transformers 加载的本地因果语言模型目录。

python
import os
import time
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

MODEL_PATH = os.environ["MODEL_PATH"]
INPUT_TOKENS = 512
OUTPUT_TOKENS = 64
WARMUP_ROUNDS = 2

tokenizer = AutoTokenizer.from_pretrained(MODEL_PATH)
model = AutoModelForCausalLM.from_pretrained(
    MODEL_PATH,
    torch_dtype=torch.float16,
).cuda().eval()

seed = tokenizer(
    "benchmark latency throughput memory ",
    add_special_tokens=False,
    return_tensors="pt",
)["input_ids"][0]
repeat = (INPUT_TOKENS + len(seed) - 1) // len(seed)
input_ids = seed.repeat(repeat)[:INPUT_TOKENS].unsqueeze(0).cuda()
attention_mask = torch.ones_like(input_ids)

@torch.inference_mode()
def decode_once():
    ids = input_ids
    mask = attention_mask
    past = None
    first_token_s = None
    start = time.perf_counter()

    for step in range(OUTPUT_TOKENS):
        outputs = model(
            input_ids=ids,
            attention_mask=mask,
            past_key_values=past,
            use_cache=True,
        )
        next_token = outputs.logits[:, -1, :].argmax(dim=-1, keepdim=True)
        past = outputs.past_key_values
        ids = next_token
        mask = torch.cat([mask, torch.ones((1, 1), device=mask.device, dtype=mask.dtype)], dim=1)

        torch.cuda.synchronize()
        if step == 0:
            first_token_s = time.perf_counter() - start

    total_s = time.perf_counter() - start
    return first_token_s, total_s

for _ in range(WARMUP_ROUNDS):
    decode_once()

torch.cuda.reset_peak_memory_stats()
torch.cuda.synchronize()
ttft_s, total_s = decode_once()

tpot_s = (total_s - ttft_s) / max(OUTPUT_TOKENS - 1, 1)
throughput = OUTPUT_TOKENS / total_s
peak_gib = torch.cuda.max_memory_allocated() / 1024**3

print(f"input_tokens={INPUT_TOKENS}")
print(f"output_tokens={OUTPUT_TOKENS}")
print(f"ttft_ms={ttft_s * 1000:.2f}")
print(f"tpot_ms={tpot_s * 1000:.2f}")
print(f"throughput_tok_s={throughput:.2f}")
print(f"peak_allocated_gib={peak_gib:.2f}")

预期输出

text
input_tokens=512
output_tokens=64
ttft_ms=<TIME>
tpot_ms=<TIME>
throughput_tok_s=<TOKENS_PER_SECOND>
peak_allocated_gib=<GIB>

其中 <TIME>、<TOKENS_PER_SECOND> 和 <GIB> 会随 GPU、模型和软件栈变化。比较候选模型时必须保持脚本参数与环境一致,并记录实际版本信息。

从单次结果升级为可靠基准

单次运行容易受 GPU 频率、后台任务和缓存状态影响。正式基准应执行多轮,例如 30~100 次,并分别保存 TTFT、TPOT 和总耗时。延迟至少报告 P50 与 P95;吞吐报告稳定窗口平均值,同时保留失败请求数。

压缩模型与基线模型必须使用相同的请求集合和运行顺序。若显存不足导致候选模型只能使用不同批大小,应把它记录为测试条件变化,并另做“固定资源上限下的最大吞吐”实验,不能直接与固定批大小结果混为一谈。

测并发时同时看吞吐和尾延迟

并发测试应按 1、2、4、8 等档位逐级增加请求数,每个档位持续足够长时间,使调度器进入稳定状态。每一档同时记录服务端总 Token/s、P50/P95 TTFT、P50/P95 TPOT、错误率和峰值显存。

最大并发能力不是“程序没有崩溃的最大请求数”,而是所有关键 SLO 仍满足时的最高并发档位。当吞吐继续增加但 P95 TTFT 已超过门槛,应判定该档位不可用。

最终报告应把测试条件与结果放在同一张表中:模型版本、输入/输出长度、预热轮数、并发、TTFT、TPOT、Token/s、峰值显存和失败率缺一不可。只有测量条件可复现,压缩前后的性能差异才有上线决策价值。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

测量延迟吞吐与显存占用

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通