架构与系统设计 / 系统课时
建立吞吐延迟与错误率基线
建立吞吐延迟与错误率基线
没有基线时,“CPU 不高”或“平均延迟正常”都不能证明系统有余量。本节把入口吞吐、尾延迟、错误率、队列、缓存和数据库资源放到同一时间窗口观察,并分别记录空载与基准负载结果,得到后续压测可比较的起点。
学习目标
- 定义 QPS、成功率、P95/P99 延迟及关键资源指标
- 在空载和基准负载下采集同一组数据,形成可重复的基线
- 通过跨层指标关联判断瓶颈是在入口、缓存、队列还是数据库
先固定口径再采样
QPS 用同一统计窗口内完成的请求数除以秒数;成功率必须明确哪些状态算成功,业务拒绝、限流和系统错误不要混在一起。延迟至少保留 P95 和 P99,因为秒杀场景真正影响体验的往往是尾部排队,而不是平均值。
队列深度要同时看当前值和增长趋势;缓存命中率应按核心读路径统计;数据库连接占用建议记录“活跃连接数 ÷ 连接池上限”。这些指标必须使用同一时间窗口,否则无法判断“请求变慢”和“下游饱和”是否真的同时发生。
跑一个最小入口基线
下面的可执行示例使用 Python 标准库并发请求一个已运行的测试接口,统计成功率、QPS、P95 和 P99。运行前把 <PORT> 替换为实际端口;示例依赖目标服务已经启动。
import concurrent.futures
import math
import time
import urllib.request
URL = "http://127.0.0.1:<PORT>/health"
REQUESTS = 200
CONCURRENCY = 20
def once():
start = time.perf_counter()
try:
with urllib.request.urlopen(URL, timeout=2) as resp:
ok = 200 <= resp.status < 300
except Exception:
ok = False
return ok, (time.perf_counter() - start) * 1000
started = time.perf_counter()
with concurrent.futures.ThreadPoolExecutor(max_workers=CONCURRENCY) as pool:
samples = list(pool.map(lambda _: once(), range(REQUESTS)))
elapsed = time.perf_counter() - started
latencies = sorted(ms for _, ms in samples)
successes = sum(1 for ok, _ in samples if ok)
def percentile(values, p):
index = max(0, math.ceil(len(values) * p) - 1)
return values[index]
print(f"requests={REQUESTS}")
print(f"success_rate={successes / REQUESTS * 100:.2f}%")
print(f"qps={REQUESTS / elapsed:.2f}")
print(f"p95_ms={percentile(latencies, 0.95):.2f}")
print(f"p99_ms={percentile(latencies, 0.99):.2f}")预期输出
requests=200
success_rate=<RATE>%
qps=<QPS>
p95_ms=<P95>
p99_ms=<P99><RATE>、<QPS>、<P95>、<P99> 会随机器、网络和服务状态变化。这个脚本只测入口体验,不替代专业压测工具;它的价值是先把统计口径固定下来。
同时记录下游资源
基线表只保留能解释容量和排队的指标,避免把监控面板全部抄进结果。
| 层级 | 指标 | 主要回答的问题 |
|---|---|---|
| 入口 | QPS、成功率、P95/P99 | 用户侧吞吐和尾延迟是否恶化 |
| Redis | 命中率、命令延迟、连接占用 | 热点或连接等待是否出现 |
| Kafka | 队列深度或 lag、生产/消费速率 | 异步段是否持续积压 |
| MySQL | 活跃连接占比、事务延迟 | 数据库是否成为消费侧瓶颈 |
空载阶段保持无业务压测,只采集系统自身噪声;基准负载阶段使用固定并发、固定数据集和固定持续时间。每次都记录同一组指标与测试条件,后续优化前后才能做有效比较。
用关联而不是单点判断瓶颈
如果 QPS 不再增长,同时 P99 上升、应用线程或连接等待增加,说明入口开始排队。若入口仍稳定但 Kafka lag 持续上升,问题更可能在消费者或 MySQL。若缓存命中率下降后数据库连接占用同步抬升,则应先检查缓存失效或热点穿透,而不是直接扩容数据库。
最终应把空载值、基准负载值和测试条件放在同一份记录里。后续每次压测都先与这份基线比较,再决定是继续加压、定位尾延迟,还是处理队列和连接池饱和。