单片机与物联网 / 系统课时

避免主题通配符放大流量

避免主题通配符放大流量

监控服务只需要产线 1 的遥测,却订阅了 factory/#,结果同时接收其他产线的状态、告警和调试数据。本文通过可复现的订阅实验,找出多余分发来自哪里,并把 Topic 过滤器缩到真实的业务范围。

学习目标

  • 根据 + 和 # 的匹配规则识别过宽的订阅。
  • 使用 Mosquitto 命令核对宽窄过滤器收到的消息。
  • 估算高扇出成本,并选择能真正减少 Broker 下行流量的改法。

先计算消息扇出的代价

发布设备向一个具体 Topic 发送一次消息,Broker 会将它分发给所有匹配且有权接收的订阅客户端。因此,发布量不变,订阅范围和客户端数量仍能显著改变下行流量。

假设工厂每秒发布 100 条消息,其中产线 1 遥测只有 20 条。20 个监控实例都订阅 factory/#,则产生约 100 × 20 = 2000 次消息交付/秒;如果每个实例只订阅产线 1 遥测,则降为 20 × 20 = 400 次/秒。这里计算的是示例中的匹配分发次数,不含重传和协议开销,也不代表可以随意丢弃业务必须接收的数据。

宽泛订阅与精确订阅的消息扇出对比

按固定层级收紧 Topic 过滤器

将设备主题统一为 factory/{line}/{device}/{kind},例如 factory/line1/device01/telemetry。+ 只匹配一层,# 匹配零层或多层且只能位于过滤器末尾。通配符只能写在订阅过滤器中,不能拿来发布消息。

订阅过滤器 本例会匹配什么 适用对象
factory/# 工厂下全部主题 确有全量需求的受控审计服务
factory/line1/+/telemetry 产线 1 各设备的遥测 产线 1 监控服务
factory/+/+/state 各产线设备状态 状态汇总服务

例如,下列三个发布主题中,factory/line1/+/telemetry 只会匹配第一条和第三条:

  • factory/line1/device01/telemetry
  • factory/line2/device09/state
  • factory/line1/device02/telemetry

注意,订阅 factory/line1/# 仍会收到该产线的状态、指令和告警;若只消费遥测,应明确限定最后一层为 telemetry。此外,根级通配符 # 不会匹配以 $ 开头的系统主题,例如 $SYS/broker/clients/connected。

不要仅靠客户端收到消息后判断 kind 并丢弃:Broker 已经完成网络发送,带宽和客户端解析开销没有消失。对于不同租户,还应结合 Broker ACL 限制跨租户订阅;只修改 Topic 命名不能替代访问控制。

在本地对比实际收件量

准备一个允许本机测试连接、监听 127.0.0.1:1883 的 Mosquitto Broker,并安装 mosquitto_pub、mosquitto_sub。在 Bash 中运行以下完整实验;使用没有这些主题的保留消息的测试环境,sleep 1 仅用于本地等待订阅建立。

bash
# 两个订阅者分别记录宽泛与精确过滤器的结果
mosquitto_sub -h 127.0.0.1 -p 1883 -t 'factory/#' -v -C 3 > wide.log &
wide_pid=$!
mosquitto_sub -h 127.0.0.1 -p 1883 -t 'factory/line1/+/telemetry' -v -C 2 > narrow.log &
narrow_pid=$!
sleep 1

# 模拟两条产线发布三条不同类型的消息
mosquitto_pub -h 127.0.0.1 -p 1883 -t 'factory/line1/device01/telemetry' -m '26'
mosquitto_pub -h 127.0.0.1 -p 1883 -t 'factory/line2/device09/state' -m 'online'
mosquitto_pub -h 127.0.0.1 -p 1883 -t 'factory/line1/device02/telemetry' -m '27'

# 等待订阅者收齐指定数量后查看结果
wait "$wide_pid" "$narrow_pid"
echo 'wide:'
cat wide.log
echo 'narrow:'
cat narrow.log

预期输出:

text
wide:
factory/line1/device01/telemetry 26
factory/line2/device09/state online
factory/line1/device02/telemetry 27
narrow:
factory/line1/device01/telemetry 26
factory/line1/device02/telemetry 27

宽订阅收到 3 条,精确订阅只收到 2 条。这里通过 -C 在收到指定数量后自动退出,通过 -v 同时显示主题和负载。如果测试没有结束,检查 Broker 连接、订阅是否建立、主题是否拼写正确,以及是否存在认证或 ACL 拒绝。

生产环境切换过滤器时,应先确认新订阅收到 SUBACK,再移除旧订阅,避免过渡期漏消息。两份订阅短暂重叠可能引起重复交付,消费者仍应根据业务需要处理幂等;实验中的固定等待不是生产级同步机制。

处理真正的高扇出场景

收紧过滤器只能减少不需要的消息。如果多个客户端确实都需要相同的数据,仍然会产生扇出,需要按业务消费方式区分处理。

  • 独立订阅者:不同监控屏幕各自需要完整消息,应保留独立投递,并评估采样、增量更新或聚合后再发布。
  • 同一工作组的多个实例:如果多个服务实例只是共同完成一批任务,可在支持共享订阅的 Broker 中使用 $share/telemetry-workers/factory/line1/+/telemetry,由同一共享组的实例分担消息,而非每个实例收到副本。
  • 无关业务混用同一主题:把状态、遥测、告警等分成稳定的 Topic 层级,避免消费者为获取一个字段而订阅整个设备主题树。

共享订阅适合任务分摊,不适合每个实例都必须收到完整事件的广播场景。使用共享订阅时,还需验证不同消费者之间的处理顺序、失败重试和业务幂等。

上线前后对照相同时间窗口的发布速率、Broker 下行消息数、出站字节数及各客户端实际有效消息占比。若下行没有下降,检查是否仍有 factory/# 订阅残留。

当订阅需求明确、过滤器范围可核查,并且下行消息量随无关主题的剔除而下降时,才说明通配符治理真正减少了流量放大。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

避免主题通配符放大流量

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通