单片机与物联网 / 系统课时
避免主题通配符放大流量
避免主题通配符放大流量
监控服务只需要产线 1 的遥测,却订阅了 factory/#,结果同时接收其他产线的状态、告警和调试数据。本文通过可复现的订阅实验,找出多余分发来自哪里,并把 Topic 过滤器缩到真实的业务范围。
学习目标
- 根据
+和#的匹配规则识别过宽的订阅。 - 使用 Mosquitto 命令核对宽窄过滤器收到的消息。
- 估算高扇出成本,并选择能真正减少 Broker 下行流量的改法。
先计算消息扇出的代价
发布设备向一个具体 Topic 发送一次消息,Broker 会将它分发给所有匹配且有权接收的订阅客户端。因此,发布量不变,订阅范围和客户端数量仍能显著改变下行流量。
假设工厂每秒发布 100 条消息,其中产线 1 遥测只有 20 条。20 个监控实例都订阅 factory/#,则产生约 100 × 20 = 2000 次消息交付/秒;如果每个实例只订阅产线 1 遥测,则降为 20 × 20 = 400 次/秒。这里计算的是示例中的匹配分发次数,不含重传和协议开销,也不代表可以随意丢弃业务必须接收的数据。

按固定层级收紧 Topic 过滤器
将设备主题统一为 factory/{line}/{device}/{kind},例如 factory/line1/device01/telemetry。+ 只匹配一层,# 匹配零层或多层且只能位于过滤器末尾。通配符只能写在订阅过滤器中,不能拿来发布消息。
| 订阅过滤器 | 本例会匹配什么 | 适用对象 |
|---|---|---|
factory/# |
工厂下全部主题 | 确有全量需求的受控审计服务 |
factory/line1/+/telemetry |
产线 1 各设备的遥测 | 产线 1 监控服务 |
factory/+/+/state |
各产线设备状态 | 状态汇总服务 |
例如,下列三个发布主题中,factory/line1/+/telemetry 只会匹配第一条和第三条:
factory/line1/device01/telemetryfactory/line2/device09/statefactory/line1/device02/telemetry
注意,订阅 factory/line1/# 仍会收到该产线的状态、指令和告警;若只消费遥测,应明确限定最后一层为 telemetry。此外,根级通配符 # 不会匹配以 $ 开头的系统主题,例如 $SYS/broker/clients/connected。
不要仅靠客户端收到消息后判断 kind 并丢弃:Broker 已经完成网络发送,带宽和客户端解析开销没有消失。对于不同租户,还应结合 Broker ACL 限制跨租户订阅;只修改 Topic 命名不能替代访问控制。
在本地对比实际收件量
准备一个允许本机测试连接、监听 127.0.0.1:1883 的 Mosquitto Broker,并安装 mosquitto_pub、mosquitto_sub。在 Bash 中运行以下完整实验;使用没有这些主题的保留消息的测试环境,sleep 1 仅用于本地等待订阅建立。
# 两个订阅者分别记录宽泛与精确过滤器的结果
mosquitto_sub -h 127.0.0.1 -p 1883 -t 'factory/#' -v -C 3 > wide.log &
wide_pid=$!
mosquitto_sub -h 127.0.0.1 -p 1883 -t 'factory/line1/+/telemetry' -v -C 2 > narrow.log &
narrow_pid=$!
sleep 1
# 模拟两条产线发布三条不同类型的消息
mosquitto_pub -h 127.0.0.1 -p 1883 -t 'factory/line1/device01/telemetry' -m '26'
mosquitto_pub -h 127.0.0.1 -p 1883 -t 'factory/line2/device09/state' -m 'online'
mosquitto_pub -h 127.0.0.1 -p 1883 -t 'factory/line1/device02/telemetry' -m '27'
# 等待订阅者收齐指定数量后查看结果
wait "$wide_pid" "$narrow_pid"
echo 'wide:'
cat wide.log
echo 'narrow:'
cat narrow.log预期输出:
wide:
factory/line1/device01/telemetry 26
factory/line2/device09/state online
factory/line1/device02/telemetry 27
narrow:
factory/line1/device01/telemetry 26
factory/line1/device02/telemetry 27宽订阅收到 3 条,精确订阅只收到 2 条。这里通过 -C 在收到指定数量后自动退出,通过 -v 同时显示主题和负载。如果测试没有结束,检查 Broker 连接、订阅是否建立、主题是否拼写正确,以及是否存在认证或 ACL 拒绝。
生产环境切换过滤器时,应先确认新订阅收到 SUBACK,再移除旧订阅,避免过渡期漏消息。两份订阅短暂重叠可能引起重复交付,消费者仍应根据业务需要处理幂等;实验中的固定等待不是生产级同步机制。
处理真正的高扇出场景
收紧过滤器只能减少不需要的消息。如果多个客户端确实都需要相同的数据,仍然会产生扇出,需要按业务消费方式区分处理。
- 独立订阅者:不同监控屏幕各自需要完整消息,应保留独立投递,并评估采样、增量更新或聚合后再发布。
- 同一工作组的多个实例:如果多个服务实例只是共同完成一批任务,可在支持共享订阅的 Broker 中使用
$share/telemetry-workers/factory/line1/+/telemetry,由同一共享组的实例分担消息,而非每个实例收到副本。 - 无关业务混用同一主题:把状态、遥测、告警等分成稳定的 Topic 层级,避免消费者为获取一个字段而订阅整个设备主题树。
共享订阅适合任务分摊,不适合每个实例都必须收到完整事件的广播场景。使用共享订阅时,还需验证不同消费者之间的处理顺序、失败重试和业务幂等。
上线前后对照相同时间窗口的发布速率、Broker 下行消息数、出站字节数及各客户端实际有效消息占比。若下行没有下降,检查是否仍有 factory/# 订阅残留。
当订阅需求明确、过滤器范围可核查,并且下行消息量随无关主题的剔除而下降时,才说明通配符治理真正减少了流量放大。