单片机与物联网 / 系统课时

估算连接数和消息吞吐压力

估算连接数和消息吞吐压力

Broker 的压力不能只看设备数量:两万台在线设备即使低频上报,也可能因多个订阅者而产生数倍下行流量。本课用设备数、上报周期、消息字节数和订阅扇出算出一份容量基线,再据此安排峰值压测。

学习目标

  • 分别估算在线连接、入站消息率和出站消息率。
  • 把消息大小换算成网络带宽,并识别估算假设。
  • 识别同步上报、QoS 确认与离线队列造成的额外压力。

区分连接、入站与订阅扇出

在线设备数决定长连接规模,但不是每秒消息量。若 NN 台设备每 TT 秒各上报一次,平均入站速率为 Rin=N/TR_{in}=N/T。若每条消息实际投递到平均 FF 个不同订阅客户端,出站速率约为 Rout=Rin×FR_{out}=R_{in}\times F。

例如 20,000 台设备每 10 秒上报一次,入站为 2,000 条/秒;每条平均发送给 3 个订阅端,出站为 6,000 条/秒。这里的扇出是实际收到消息的客户端数量,而不是 Topic Filter 的数量;监控应用的连接也需另计。

设备消息进入 Broker 后按订阅扇出形成下行负载的数据流图

计算一份可复核的容量基线

假设每条消息 Payload 为 200 B,并为 Topic 名称及 MQTT 报文其他字段暂估 50 B;平均每条消息有 3 个有效订阅者。再假设每条设备连接占用 10 KiB 内存,仅用来演示连接预算算法,不是任何 Broker 的固定内存开销。

把下列代码保存为 capacity_estimate.py,用 python capacity_estimate.py 运行。计算使用十进制 Mb/s(每秒百万比特),内存使用二进制 MiB。

python
devices = 20_000
report_interval_s = 10
payload_bytes = 200
extra_publish_bytes = 50  # 示例估算,暂不含 TCP、TLS 与 QoS 确认
fanout = 3
connection_kib = 10       # 示例假设,最终应以实测内存校准

ingress_msg_s = devices / report_interval_s
egress_msg_s = ingress_msg_s * fanout
bytes_per_publish = payload_bytes + extra_publish_bytes

ingress_mbps = ingress_msg_s * bytes_per_publish * 8 / 1_000_000
egress_mbps = egress_msg_s * bytes_per_publish * 8 / 1_000_000
connection_mib = devices * connection_kib / 1024

print(f"设备连接数: {devices}")
print(f"入站: {ingress_msg_s:.0f} msg/s, {ingress_mbps:.1f} Mb/s")
print(f"出站: {egress_msg_s:.0f} msg/s, {egress_mbps:.1f} Mb/s")
print(f"假设的设备连接内存: {connection_mib:.1f} MiB")

预期输出:

text
设备连接数: 20000
入站: 2000 msg/s, 4.0 Mb/s
出站: 6000 msg/s, 12.0 Mb/s
假设的设备连接内存: 195.3 MiB

上、下行合计约 16.0 Mb/s 只是 PUBLISH 的示例流量基线,不是网卡真实占用。若采用 QoS 1,还会有 PUBACK;TCP/IP、TLS、心跳、重传、管理流量及协议字段变化都需要额外预算。离线持久会话中的排队消息与在途消息,也会增加内存占用。

把平均值转成峰值风险

平均每秒 2,000 条,不代表每秒均匀。如果所有设备使用相同定时器并在某一秒集中发布,峰值就会变为入站 20,000 条/秒、出站 60,000 条/秒;按本例的每条 250 B 粗算,该秒对应 40 Mb/s 入站和 120 Mb/s 出站。

设备侧可为上报时刻加入随机抖动,并避免在整点同时重连。还要单独评估连接风暴:20,000 台设备在一分钟内重连,平均约 333 次新连接/秒;如果挤在一秒,TLS 握手与认证峰值远高于平均值。两类峰值应分别压测。

用实测决定扩容边界

按 5,000、10,000、20,000、30,000 台模拟连接逐级加压,每档持续至少 10 分钟,并尽量复现真实的 Topic、QoS、订阅扇出和报文大小。记录 Broker CPU、RSS 内存、连接建立失败数、入站/出站速率、离线队列长度及命令或消息端到端延迟的 P95/P99。

验收门槛须来自业务指标,例如将消息端到端 P95 不超过 500 ms 作为本次测试目标,而非 MQTT 协议承诺。一旦某档出现持续积压、时延上升或重连失败,就以低于该档的稳定结果制定容量上限,再通过分摊上报、减少无效扇出或扩展 Broker 节点修正。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

估算连接数和消息吞吐压力

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通