大模型原理与训练 / 系统课时

构造贴近真实流量的压测集

构造贴近真实流量的压测集

压测结果是否可信,首先取决于输入是否像真实流量。本篇把线上请求压缩为 Prompt 长度、生成长度、到达速率和并发形态,用固定种子与分层抽样构造可复现压测集,避免短提示和恒定并发带来的虚高吞吐。

学习目标

  • 从线上请求中提取影响推理负载的四个核心维度。
  • 用分层样本和固定随机种子保留长尾请求,同时保证测试可复现。
  • 用变化的到达速率与并发上限代替单一恒定并发,构造更接近线上峰谷的回放清单。

先保留联合分布而不是只看平均值

推理负载至少由四个维度共同决定:Prompt token 数影响 Prefill,生成 token 数影响 Decode 持续时间,到达速率决定排队压力,并发分布决定同一时刻有多少请求争用显存与计算资源。只记录平均 Prompt 长度和平均 QPS,会把长尾和突发全部抹平。

尤其要避免把 Prompt 长度和生成长度独立随机化。线上常见“长 Prompt 短回答”和“短 Prompt 长生成”等相关关系,若分别按边际分布抽样,可能合成线上几乎不存在的组合。更稳妥的做法是先按二维区间或业务类型分层,再在层内抽样。

真实流量压测集的四维抽样关系

用固定种子生成分层清单

下面的脚本构造 20 条请求元数据:短、中、长三层分别保留 9、8、3 条,随后用固定种子打乱顺序。流量阶段从 steady 过渡到 peak 和 burst,每个阶段使用不同的泊松到达速率与并发上限,最终写出可供压测客户端消费的 JSONL 清单。

python
from collections import Counter
from pathlib import Path
import json
import random
import statistics

rng = random.Random(2026)
strata = [
    ("short", (32, 256), (32, 128), 9),
    ("medium", (257, 2048), (129, 512), 8),
    ("long", (2049, 8192), (513, 1536), 3),
]

samples = []
for name, prompt_range, gen_range, count in strata:
    for _ in range(count):
        samples.append(
            {
                "stratum": name,
                "prompt_tokens": rng.randint(*prompt_range),
                "max_new_tokens": rng.randint(*gen_range),
            }
        )
rng.shuffle(samples)

phases = [
    ("steady", 8, 4.0, 8),
    ("peak", 8, 8.0, 16),
    ("burst", 4, 12.0, 24),
]
timeline = []
for phase, count, qps, cap in phases:
    timeline.extend([(phase, qps, cap)] * count)

records = []
elapsed = 0.0
for i, (sample, (phase, qps, cap)) in enumerate(zip(samples, timeline), 1):
    elapsed += rng.expovariate(qps)
    records.append(
        {
            "id": f"req-{i:03d}",
            **sample,
            "phase": phase,
            "arrival_s": round(elapsed, 3),
            "concurrency_cap": cap,
        }
    )

path = Path("bench_manifest.jsonl")
path.write_text(
    "\n".join(json.dumps(r, ensure_ascii=False) for r in records) + "\n",
    encoding="utf-8",
)

counts = Counter(r["stratum"] for r in records)
print(f"count={len(records)} strata={dict(counts)}")
print(
    "mean_prompt=%.1f mean_generation=%.1f"
    % (
        statistics.mean(r["prompt_tokens"] for r in records),
        statistics.mean(r["max_new_tokens"] for r in records),
    )
)
print("first5_arrivals=" + ",".join(f"{r['arrival_s']:.3f}" for r in records[:5]))
print(f"saved={path}")

预期输出

text
count=20 strata={'medium': 8, 'short': 9, 'long': 3}
mean_prompt=1237.4 mean_generation=308.9
first5_arrivals=0.505,0.643,1.049,1.553,2.074
saved=bench_manifest.jsonl

固定种子保证同一脚本重复执行时得到相同样本和到达时间。实际项目中,区间和比例应来自脱敏后的线上统计,而不是照搬示例数值;token 长度也应使用目标模型对应的 tokenizer 统计,而不是字符数。

到达速率和并发要分别看

恒定并发属于闭环压测:只有前一个请求结束,客户端才补下一个请求。这种方式适合测系统在给定并发下的饱和能力,却会隐藏真实流量中的突发到达。开放式回放则按时间戳发请求,即使前面的请求尚未完成,新请求仍会到达,更适合观察排队、首 token 延迟和过载行为。

并发上限仍有价值,但它更像保护条件,而不是唯一的流量模型。测试集中同时保存 arrival_s 与 concurrency_cap,可以让客户端既还原到达节奏,又避免压测器自身无限堆积请求。

用分层校验避免漂亮但错误的结果

生成清单后先做静态校验:样本总量是否正确、各层比例是否符合目标、长尾是否真的存在、相同随机种子能否复现。随后再把请求送入服务,记录 TTFT、TPOT、端到端延迟、吞吐和错误率,并按短、中、长层分别统计,避免总体平均值掩盖长请求退化。

一个可信的压测集不是“请求越多越真实”,而是能稳定复现线上最重要的负载结构。只要长度分布、到达节奏、并发峰值和长尾样本都被保留下来,后续性能结论才有资格用于容量规划和优化决策。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

构造贴近真实流量的压测集

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通