音频开发 / 系统课时

压测并发吞吐与尾延迟

压测并发吞吐与尾延迟

生产环境的语音服务不能只看“平均延迟”。本节用短语音、长音频和流式会话三类负载建立压测基线,同时观察吞吐、首结果时间、P95/P99 与排队时间,最终判断瓶颈究竟出现在入口、队列还是模型推理阶段。

学习目标

  • 能为短语音、长音频和流式会话分别设计可复现的压测场景
  • 能正确读取吞吐、首结果时间、P95/P99、实时率等关键指标
  • 能根据并发升高后的指标变化区分排队瓶颈与推理瓶颈

先把压测场景拆开

三类请求不要混在一个平均值里。短语音更敏感于固定开销,长音频更容易暴露推理吞吐不足,流式会话则重点观察“首个可用结果”以及持续处理是否跟得上音频输入速度。

场景 建议样本 主要指标 常见瓶颈
短语音 2~10 秒 QPS、P95/P99、排队时间 网关、连接池、调度
长音频 1~10 分钟 实时率、总耗时、GPU 利用率 解码、模型推理、显存
流式会话 连续 30~120 秒 首结果时间、增量结果间隔、断流率 会话数、队列、流式解码

实时率可用 RTF=处理耗时/音频时长RTF=处理耗时/音频时长 表示。RTF 小于 1 说明单个任务处理速度快于音频播放速度,但这并不代表高并发下仍然不会排队。

语音压测从请求进入到排队与模型推理的链路

用固定协议跑一轮基准

下面示例假设服务提供同步接口 POST /v1/asr,上传字段名为 audio。脚本分别压短音频与长音频,并通过环境变量控制地址和并发,便于在不同机器上复用。流式接口通常使用 WebSocket 或 gRPC,应沿用同一批音频样本,并单独记录建连时间和首结果时间。

python
import os
import time
import statistics
from concurrent.futures import ThreadPoolExecutor, as_completed

import requests

BASE_URL = os.getenv("ASR_BASE_URL", "http://127.0.0.1:8000")
AUDIO_FILE = os.getenv("AUDIO_FILE", "short.wav")
CONCURRENCY = int(os.getenv("CONCURRENCY", "8"))
REQUESTS = int(os.getenv("REQUESTS", "40"))

def call_asr(index: int) -> float:
    started = time.perf_counter()
    with open(AUDIO_FILE, "rb") as audio:
        response = requests.post(
            f"{BASE_URL}/v1/asr",
            files={"audio": audio},
            timeout=120,
        )
    response.raise_for_status()
    elapsed_ms = (time.perf_counter() - started) * 1000
    return elapsed_ms

with ThreadPoolExecutor(max_workers=CONCURRENCY) as pool:
    futures = [pool.submit(call_asr, i) for i in range(REQUESTS)]
    latencies = [future.result() for future in as_completed(futures)]

latencies.sort()
p95 = latencies[int(len(latencies) * 0.95) - 1]
p99 = latencies[int(len(latencies) * 0.99) - 1]

print(f"requests={len(latencies)}")
print(f"avg_ms={statistics.mean(latencies):.1f}")
print(f"p95_ms={p95:.1f}")
print(f"p99_ms={p99:.1f}")

预期输出的数值取决于模型、音频长度和硬件,结构应类似:

text
requests=40
avg_ms=<VALUE>
p95_ms=<VALUE>
p99_ms=<VALUE>

实际压测时先用 1 个并发建立基线,再逐级增加到 2、4、8、16 等档位。每个档位至少持续到指标稳定,避免只测几十秒就把模型预热、缓存或 GPU 初始化时间误判为长期性能。

同时记录排队与推理时间

只有端到端延迟时,很难知道请求到底慢在哪里。服务端最好拆出 queue_wait_ms、inference_ms 和 total_ms 三段时间,并使用同一个请求标识关联日志。

当并发提高后,如果 queue_wait_ms 快速增长而 inference_ms 基本稳定,说明单个模型实例还能正常推理,但任务正在入口或批处理队列中等待。此时优先考虑增加实例、调整批大小、限制最大并发或引入背压。

如果 inference_ms 本身明显上涨,同时 GPU 利用率长期接近饱和、显存频繁触顶或发生 OOM,则问题更可能位于推理侧。盲目继续放大入口并发只会进一步恶化 P99。

找到拐点而不是追求最高 QPS

最终目标不是得到一个“机器最高 QPS”,而是找出满足服务等级目标时的最大稳定并发。例如要求 P95 小于 800 ms、P99 小于 1500 ms、错误率低于 0.1%,那么一旦某个并发档位持续越线,前一个稳定档位才更接近可用容量。

流式场景还要增加首结果时间和会话存活率。即使总吞吐看起来足够,只要首结果从 300 ms 恶化到数秒,实时语音体验就已经失效。生产容量应以最先违反 SLO 的指标为准,而不是以某个单项峰值为准。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

压测并发吞吐与尾延迟

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通