架构与系统设计 / 系统课时

如何估算消息系统的吞吐

如何估算消息系统的吞吐

消息系统容量不能只看“每秒多少条”。本节把生产速率、消息大小、复制开销、峰值系数和消费能力放进同一个容量模型,用一组具体数字估算写入带宽、存储量和消费者并发下限。

学习目标

  • 从消息速率和平均消息大小计算入口吞吐与峰值吞吐。
  • 把复制因子、保留时间和安全余量换算成存储需求。
  • 用单消费者处理能力估算消费并发,并识别生产与消费两侧的瓶颈。

先算业务入口而不是机器上限

假设订单事件平均 2 KiB,工作日稳定生产 60,000 msg/s,历史监控显示 5 分钟峰值约为稳定值的 1.8 倍。入口峰值消息速率就是 108,000 msg/s,入口有效载荷约为 210.9 MiB/s。

计算时先保留“条数”和“字节数”两个维度。条数决定分区、消费者调度和请求次数压力;字节数决定网络、磁盘和缓存压力。两种消息系统即使都能处理 100,000 msg/s,面对 500 B 与 20 KiB 消息时的资源消耗也完全不同。

公式可以直接写成:

Qpeak=Qbase×KpeakQ_{peak}=Q_{base}×K_{peak}

Bin=Qpeak×SmsgB_{in}=Q_{peak}×S_{msg}

其中本例的 Qbase=60000Q_{base}=60000,Kpeak=1.8K_{peak}=1.8,Smsg=2048S_{msg}=2048 字节。容量规划应使用峰值而不是日均值。

把复制和保留时间换成存储预算

如果复制因子为 3,消息保留 72 小时,仅计算消息正文,不考虑索引、日志段元数据和压缩,原始副本存储量约为“峰值入口带宽 × 保留秒数 × 3”。直接按峰值连续 72 小时计算会得到约 156 TiB,这是偏保守的上界。

实际规划通常把“峰值吞吐”和“平均存储写入”分开。若 24 小时平均生产速率只有 35,000 msg/s,则 72 小时正文副本数据约 50.7 TiB;再给索引、文件系统、重平衡和流量增长预留 30%,规划容量约 65.9 TiB。

项目 数值
日均消息速率 35,000 msg/s
平均消息大小 2 KiB
复制因子 3
保留时间 72 h
正文副本数据 约 50.7 TiB
加 30% 余量 约 65.9 TiB

再算消费侧需要多少并发

假设一个消费者实例在真实业务逻辑下可稳定处理 3,500 msg/s,并且希望消费侧至少保留 25% 余量。峰值 108,000 msg/s 时,最低实例数应按 ceil(108000 / 3500 × 1.25) 计算,结果为 39 个实例。

这个数字还不是最终部署数。若消息被划分为 48 个可并行消费的分区,而同一消费组内一个分区同一时刻只能由一个消费者实例处理,那么部署 39 个实例可以使用 39 个分区;部署超过 48 个时,多出的实例不会继续提升该消费组吞吐。

用下面脚本可以同时检查生产带宽、三天存储和消费并发。

python
import math

base_rate = 60_000
peak_factor = 1.8
message_bytes = 2 * 1024
avg_rate = 35_000
replication_factor = 3
retention_hours = 72
storage_headroom = 1.30
consumer_rate = 3_500
consumer_headroom = 1.25

peak_rate = base_rate * peak_factor
peak_mib_s = peak_rate * message_bytes / 1024 / 1024

stored_bytes = (
    avg_rate
    * message_bytes
    * retention_hours
    * 3600
    * replication_factor
)
planned_tib = stored_bytes * storage_headroom / 1024**4
consumer_count = math.ceil(peak_rate / consumer_rate * consumer_headroom)

print(f"peak_rate={peak_rate:.0f} msg/s")
print(f"peak_payload={peak_mib_s:.1f} MiB/s")
print(f"planned_storage={planned_tib:.1f} TiB")
print(f"consumer_count={consumer_count}")

预期输出

text
peak_rate=108000 msg/s
peak_payload=210.9 MiB/s
planned_storage=65.9 TiB
consumer_count=39

用瓶颈校验把估算落到压测指标

容量模型最后要被压测验证。至少同时观测四项:生产成功率、端到端 P99 延迟、Broker 或节点磁盘写入带宽、消费积压增长速度。若生产侧能稳定达到 108,000 msg/s,但积压持续增加,就说明消费能力不足;若消费者空闲而写入延迟升高,则更可能是磁盘、网络或分区热点。

验收可以设一个明确门槛:连续 30 分钟以 108,000 msg/s 写入,P99 延迟不超过业务目标,失败率低于 0.1%,同时 39 个消费者不出现持续增长的 backlog。若目标系统支持扩分区或在线扩容,还应再做一次扩容演练,确认扩容过程不会把 P99 延迟推过上限。

估算的作用不是给出一个永远正确的节点数,而是把业务速率换成可验证的资源需求。生产速率、消息大小、复制因子、保留时间或单消费者能力任何一项变化,都应重新代入模型,再用压测数据校准。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

如何估算消息系统的吞吐

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通