架构与系统设计 / 系统课时
如何估算消息系统的吞吐
如何估算消息系统的吞吐
消息系统容量不能只看“每秒多少条”。本节把生产速率、消息大小、复制开销、峰值系数和消费能力放进同一个容量模型,用一组具体数字估算写入带宽、存储量和消费者并发下限。
学习目标
- 从消息速率和平均消息大小计算入口吞吐与峰值吞吐。
- 把复制因子、保留时间和安全余量换算成存储需求。
- 用单消费者处理能力估算消费并发,并识别生产与消费两侧的瓶颈。
先算业务入口而不是机器上限
假设订单事件平均 2 KiB,工作日稳定生产 60,000 msg/s,历史监控显示 5 分钟峰值约为稳定值的 1.8 倍。入口峰值消息速率就是 108,000 msg/s,入口有效载荷约为 210.9 MiB/s。
计算时先保留“条数”和“字节数”两个维度。条数决定分区、消费者调度和请求次数压力;字节数决定网络、磁盘和缓存压力。两种消息系统即使都能处理 100,000 msg/s,面对 500 B 与 20 KiB 消息时的资源消耗也完全不同。
公式可以直接写成:
其中本例的 ,, 字节。容量规划应使用峰值而不是日均值。
把复制和保留时间换成存储预算
如果复制因子为 3,消息保留 72 小时,仅计算消息正文,不考虑索引、日志段元数据和压缩,原始副本存储量约为“峰值入口带宽 × 保留秒数 × 3”。直接按峰值连续 72 小时计算会得到约 156 TiB,这是偏保守的上界。
实际规划通常把“峰值吞吐”和“平均存储写入”分开。若 24 小时平均生产速率只有 35,000 msg/s,则 72 小时正文副本数据约 50.7 TiB;再给索引、文件系统、重平衡和流量增长预留 30%,规划容量约 65.9 TiB。
| 项目 | 数值 |
|---|---|
| 日均消息速率 | 35,000 msg/s |
| 平均消息大小 | 2 KiB |
| 复制因子 | 3 |
| 保留时间 | 72 h |
| 正文副本数据 | 约 50.7 TiB |
| 加 30% 余量 | 约 65.9 TiB |
再算消费侧需要多少并发
假设一个消费者实例在真实业务逻辑下可稳定处理 3,500 msg/s,并且希望消费侧至少保留 25% 余量。峰值 108,000 msg/s 时,最低实例数应按 ceil(108000 / 3500 × 1.25) 计算,结果为 39 个实例。
这个数字还不是最终部署数。若消息被划分为 48 个可并行消费的分区,而同一消费组内一个分区同一时刻只能由一个消费者实例处理,那么部署 39 个实例可以使用 39 个分区;部署超过 48 个时,多出的实例不会继续提升该消费组吞吐。
用下面脚本可以同时检查生产带宽、三天存储和消费并发。
import math
base_rate = 60_000
peak_factor = 1.8
message_bytes = 2 * 1024
avg_rate = 35_000
replication_factor = 3
retention_hours = 72
storage_headroom = 1.30
consumer_rate = 3_500
consumer_headroom = 1.25
peak_rate = base_rate * peak_factor
peak_mib_s = peak_rate * message_bytes / 1024 / 1024
stored_bytes = (
avg_rate
* message_bytes
* retention_hours
* 3600
* replication_factor
)
planned_tib = stored_bytes * storage_headroom / 1024**4
consumer_count = math.ceil(peak_rate / consumer_rate * consumer_headroom)
print(f"peak_rate={peak_rate:.0f} msg/s")
print(f"peak_payload={peak_mib_s:.1f} MiB/s")
print(f"planned_storage={planned_tib:.1f} TiB")
print(f"consumer_count={consumer_count}")预期输出
peak_rate=108000 msg/s
peak_payload=210.9 MiB/s
planned_storage=65.9 TiB
consumer_count=39用瓶颈校验把估算落到压测指标
容量模型最后要被压测验证。至少同时观测四项:生产成功率、端到端 P99 延迟、Broker 或节点磁盘写入带宽、消费积压增长速度。若生产侧能稳定达到 108,000 msg/s,但积压持续增加,就说明消费能力不足;若消费者空闲而写入延迟升高,则更可能是磁盘、网络或分区热点。
验收可以设一个明确门槛:连续 30 分钟以 108,000 msg/s 写入,P99 延迟不超过业务目标,失败率低于 0.1%,同时 39 个消费者不出现持续增长的 backlog。若目标系统支持扩分区或在线扩容,还应再做一次扩容演练,确认扩容过程不会把 P99 延迟推过上限。
估算的作用不是给出一个永远正确的节点数,而是把业务速率换成可验证的资源需求。生产速率、消息大小、复制因子、保留时间或单消费者能力任何一项变化,都应重新代入模型,再用压测数据校准。