单片机与物联网 / 系统课时
处理慢消费者和消息积压
处理慢消费者和消息积压
设备持续发布遥测,而消费程序因数据库写入缓慢、网络拥塞或断线无法及时处理时,消息可能滞留在 Broker 的待发送队列或客户端内部。本文复现慢消费现象,区分积压位置,再制定队列限制、消息过期和处理能力扩容方案。
学习目标
- 区分在线慢消费、网络阻塞与离线持久会话积压。
- 用可运行的 Python 消费者模拟处理速度不足,并计算积压增长速率。
- 根据消息能否丢弃,选择限流、过期、扩容或可靠补偿。
找出消息积压发生的位置
一条消息可能经过 Broker 的单客户端待发送队列、TCP 发送缓冲、客户端接收缓冲和业务处理线程。发布者收到成功的 QoS 1 PUBACK,只说明发布到 Broker 的这一段得到了确认,不等于消费程序已经写入数据库。
假设输入速率为 120 条/秒,处理能力为 80 条/秒,理论待处理量每秒净增 40 条;持续 10 分钟就是 24000 条。若平均负载为 2 KB,仅消息负载就约 48 MB,内存中的对象、报文头及索引还会增加实际占用。
真实系统达到队列上限后可能丢弃消息,因此这一算例用于估算压力,不保证能无限排队。判断消费者是否跟得上,可以先计算连续稳定窗口中的输入速率与有效处理速率之差。

在线慢消费时,积压不一定都在 Broker;回调阻塞可能先堆在客户端库中。离线时,只有符合会话保留条件、尚未过期且未超出 Broker 限额的 QoS 1/2 待投递消息才可能留存。QoS 0 不应作为可靠离线补发方案。
运行一个故意放慢的消费者
准备本地 127.0.0.1:1883 测试 Broker 和 Python 3,安装 paho-mqtt 2.x,安装命令为 python -m pip install 'paho-mqtt>=2,<3'。
将下面代码保存为 slow_consumer.py,执行 python slow_consumer.py。程序先等待订阅确认,再快速发布 20 条 QoS 1 消息,每次消费回调故意耗时 0.2 秒,用来模拟慢速数据库写入。
import time
from threading import Event
import paho.mqtt.client as mqtt
TOPIC = "lab/slow-consumer/telemetry"
TOTAL = 20
subscribed = Event()
finished = Event()
count = 0
def on_connect(client, userdata, flags, reason_code, properties):
if not reason_code.is_failure:
client.subscribe(TOPIC, qos=1)
def on_subscribe(client, userdata, mid, reason_codes, properties):
if all(not code.is_failure for code in reason_codes):
subscribed.set()
def on_message(client, userdata, message):
global count
time.sleep(0.2) # 模拟耗时的业务写入,阻塞当前回调
count += 1
if count == TOTAL:
finished.set()
consumer = mqtt.Client(mqtt.CallbackAPIVersion.VERSION2, client_id="lab-slow-01")
consumer.on_connect = on_connect
consumer.on_subscribe = on_subscribe
consumer.on_message = on_message
producer = mqtt.Client(mqtt.CallbackAPIVersion.VERSION2, client_id="lab-fast-01")
consumer.connect("127.0.0.1", 1883)
producer.connect("127.0.0.1", 1883)
consumer.loop_start()
producer.loop_start()
try:
if not subscribed.wait(5):
raise TimeoutError("订阅未在 5 秒内确认")
for index in range(TOTAL):
# QoS 1 确认仅覆盖发布到 Broker 的这段传输
producer.publish(TOPIC, str(index), qos=1).wait_for_publish()
if not finished.wait(15):
raise TimeoutError("消费未在 15 秒内完成")
print(f"processed={count}/{TOTAL}")
finally:
producer.disconnect()
producer.loop_stop()
consumer.disconnect()
consumer.loop_stop()预期输出:
processed=20/20消费回调累计至少耗时约 4 秒,而发布通常更快。此实验说明应用处理速率会限制排空速度;究竟有多少消息停留在 Broker 或客户端,应进一步查看各自指标,不能只凭脚本推断。
如果出现连接拒绝或超时,先确认本地 Broker 正在监听 1883 端口,允许测试客户端连接,且没有其他实例占用演示中使用的两个 Client ID。实际环境中的地址、端口和身份认证方式需要相应调整。
按证据区分根因
定位时应先判断消息在哪里增长,再决定是否扩大 Broker 容量。连续观察一个固定时间窗口,比只看某次队列峰值更能区分短暂突发和长期消费不足。
- 在同一个 60 秒窗口记录每客户端的匹配消息输入速率、成功处理速率、待发送数量、丢弃数量和端到端延迟。不要只看 Broker 全局发布总数。
- 检查消费者是否在线、会话是否仍有效。离线持久会话待发送量上涨,优先检查重连周期与消息时效;在线且回调耗时长,优先检查数据库、锁与线程池。
- 若应用回调快但出站吞吐低,同时 TCP 重传、发送阻塞或连接重建升高,检查链路带宽、接收窗口和网络质量。Broker 指标名称随产品变化,不能假设所有实现都暴露相同字段。
以下现象可用来缩小排查范围:
| 观察现象 | 优先怀疑 | 验证方向 |
|---|---|---|
| Broker 待发送队列持续增加 | 下游速率不足或客户端离线 | 客户端在线状态、发送速率、队列长度 |
| Broker 队列正常但业务延迟增加 | 客户端内部排队或业务处理缓慢 | 回调耗时、线程池队列、数据库写入延迟 |
| 出站速率下降且网络重传升高 | 网络拥塞或发送受阻 | RTT、TCP 重传、带宽与连接状态 |
| 断线后重连收到大量旧消息 | 持久会话积压 | 会话有效期、消息过期时间与离线队列 |
将消息从发布到实际业务提交的时间戳或业务序列号关联起来,才能判断端到端积压是否正在消退;仅有 MQTT 连接在线不能证明消费者健康。
设置积压上限与恢复路径
处理方向取决于消息是否允许丢弃。对于只需要最新采样的实时遥测,可在发布端降频、按窗口聚合或缩窄 Topic 订阅,先减少无效输入。MQTT 5 的 Message Expiry Interval 可用于过时即无价值的消息,例如设置 30 秒的有效期,让过期消息不再继续投递。
对于关键指令和账务事件,不能未经业务确认就随意过期,也不能把提高 QoS 当作无限缓存机制。QoS 1/2 解决的是协议交付语义,不会自动提高消费者写入数据库的能力。
使用 Mosquitto 时,可对超出正在传输中的 QoS 1/2 消息设置每客户端待发送队列限制。以下是合并到现有 mosquitto.conf 的片段示例,不是可单独启动的完整配置文件:
max_queued_messages 1000
max_queued_bytes 10485760两项限制分别按条数和字节数约束队列,先触及的限制生效。达到上限后,Mosquitto 会静默丢弃后续待排队消息,所以限额是保护 Broker 的止损手段,不是可靠投递保证。
验证配置时,应在测试环境按部署方式重载或重启 Broker,通过受控负载观察队列增长、丢弃情况和客户端实际收到的消息数。还要确认正在使用的 Mosquitto 版本支持这些配置项,并检查现有配置是否存在冲突。
如果每条事件都必须落库,应提高消费端处理能力,例如优化批量写入、增加消费者工作实例,必要时采用支持的共享订阅分摊工作。共享消费还需处理跨实例顺序问题,并使用业务唯一键确保重复消息不会导致重复入库。
对于无法接受丢失的数据,应设计独立的持久存储或补偿链路,不能只依赖有限的 Broker 离线队列。重连恢复时还应限制补发对在线实时消息造成的冲击,避免消费者在恢复瞬间再次被旧消息压垮。
最终验收应在正常负载和突发负载下分别进行:输入速率不能长期高于有效处理速率,积压不能持续增长,旧消息延迟与丢弃率必须满足业务约束。只有这些指标同时达标,慢消费者问题才算得到实际控制。