大模型原理与训练 / 系统课时

做并发压测观察性能退化

做并发压测观察性能退化

本节把单次推理性能变成可上线的并发边界:用固定工作负载逐级增加并发,持续记录延迟分位数、吞吐、排队和显存,找出量化模型从稳定区进入饱和区的拐点,并把它转成服务可承诺的并发范围。

学习目标

  • 设计可重复的阶梯式并发压测,避免把请求长度变化误判为并发退化。
  • 同时观察排队、P50/P95/P99、吞吐和显存,识别真正的饱和拐点。
  • 根据压测结果给线上并发上限留出安全余量,并完成复测验收。

先固定压测口径

并发压测最容易犯的错误,是并发升高的同时输入长度、输出长度或生成参数也在变化。先固定模型版本、量化配置、GPU、提示词、最大输出长度和温度;正式采样前做一轮预热,避免首次加载、CUDA Kernel 初始化和缓存建立污染结果。

每个并发档位至少记录四组信息:服务端排队时间、端到端延迟的 P50/P95/P99、请求吞吐或输出 Token 吞吐、GPU 显存占用。排队时间应优先读取推理服务或网关自身暴露的队列指标,因为客户端总耗时无法准确拆出服务器内部等待。

用阶梯并发跑出延迟与吞吐

下面脚本面向 OpenAI 兼容的 chat/completions 接口,以相同请求分别测试 1、2、4、8、16 并发。通过环境变量替换服务地址和模型名即可运行;如果你的服务不是 OpenAI 兼容协议,需要只改 payload 和响应解析部分。

python
import concurrent.futures
import json
import os
import time
import urllib.request

URL = os.environ.get(
    "LLM_URL",
    "http://127.0.0.1:8000/v1/chat/completions",
)
MODEL = os.environ.get("MODEL_NAME", "quant-model")
LEVELS = [1, 2, 4, 8, 16]
REQUESTS_PER_LEVEL = 24

payload = {
    "model": MODEL,
    "messages": [{"role": "user", "content": "用三句话解释什么是模型量化。"}],
    "temperature": 0.0,
    "max_tokens": 64,
    "stream": False,
}

def one_request():
    # 每次都发送完全相同的工作负载,避免长度差异影响对比。
    body = json.dumps(payload).encode("utf-8")
    req = urllib.request.Request(
        URL,
        data=body,
        headers={"Content-Type": "application/json"},
        method="POST",
    )
    started = time.perf_counter()
    with urllib.request.urlopen(req, timeout=120) as resp:
        data = json.loads(resp.read().decode("utf-8"))
    latency_ms = (time.perf_counter() - started) * 1000
    output_tokens = data.get("usage", {}).get("completion_tokens", 0)
    return latency_ms, output_tokens

def percentile(values, q):
    values = sorted(values)
    index = round((len(values) - 1) * q)
    return values[index]

def run_level(concurrency):
    wall_started = time.perf_counter()
    with concurrent.futures.ThreadPoolExecutor(max_workers=concurrency) as pool:
        results = list(pool.map(lambda _: one_request(), range(REQUESTS_PER_LEVEL)))
    wall_s = time.perf_counter() - wall_started
    latencies = [item[0] for item in results]
    tokens = sum(item[1] for item in results)
    return (
        percentile(latencies, 0.50),
        percentile(latencies, 0.95),
        percentile(latencies, 0.99),
        REQUESTS_PER_LEVEL / wall_s,
        tokens / wall_s if tokens else 0.0,
    )

print("concurrency,p50_ms,p95_ms,p99_ms,req_s,out_tok_s")
for concurrency in LEVELS:
    metrics = run_level(concurrency)
    print(
        f"{concurrency},{metrics[0]:.1f},{metrics[1]:.1f},"
        f"{metrics[2]:.1f},{metrics[3]:.2f},{metrics[4]:.2f}"
    )

预期输出

text
concurrency,p50_ms,p95_ms,p99_ms,req_s,out_tok_s
1,<LATENCY>,<LATENCY>,<LATENCY>,<THROUGHPUT>,<TOKEN_THROUGHPUT>
2,<LATENCY>,<LATENCY>,<LATENCY>,<THROUGHPUT>,<TOKEN_THROUGHPUT>
4,<LATENCY>,<LATENCY>,<LATENCY>,<THROUGHPUT>,<TOKEN_THROUGHPUT>
8,<LATENCY>,<LATENCY>,<LATENCY>,<THROUGHPUT>,<TOKEN_THROUGHPUT>
16,<LATENCY>,<LATENCY>,<LATENCY>,<THROUGHPUT>,<TOKEN_THROUGHPUT>

<LATENCY> 等实际值取决于模型、GPU 和服务实现。为了同步观察显存与 GPU 利用率,可在另一终端运行:

bash
watch -n 1 'nvidia-smi --query-gpu=timestamp,memory.used,utilization.gpu --format=csv,noheader,nounits'

预期输出

text
<TIME>, <MEMORY_USED_MB>, <GPU_UTIL_PERCENT>
<TIME>, <MEMORY_USED_MB>, <GPU_UTIL_PERCENT>

找出稳定区、拐点和饱和区

把并发作为横轴时,理想的稳定区表现为吞吐继续上升,而 P95/P99 只缓慢增长,队列长度也能快速回落。进入拐点后,吞吐的边际增益开始变小,但尾延迟和排队会明显加速;继续增加并发,如果吞吐几乎不再增长甚至下降,就已经进入饱和区。

并发增加时吞吐、尾延迟与排队共同出现饱和拐点

不要只看平均延迟。平均值可能仍然平稳,但少量请求已经在队列里等待很久;上线体验通常更接近 P95/P99。也不要只看 GPU 利用率,GPU 达到高利用率并不等于服务已经不可接受,真正的边界仍要由延迟、队列和吞吐共同决定。

把拐点转成可承诺并发

先确定业务 SLO,例如 P95 延迟上限、错误率上限和最低吞吐,再从压测结果中选择“仍满足 SLO 且队列不会持续增长”的最高并发档位。生产并发上限应低于这个技术极限,为流量抖动、长请求和后台任务留出余量,而不是把拐点本身直接当作承诺值。

正式验收时,同一并发档位至少重复多轮,并分别覆盖短输入、长输入和接近最大输出长度的请求。若量化模型在稳定区内显存更低、吞吐更高,但在高并发处尾延迟突然恶化,也应以业务 SLO 为准缩小承诺范围,而不是只因为“平均吞吐更高”就放宽并发。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

做并发压测观察性能退化

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通