单片机与物联网 / 系统课时

处理重复消息和业务幂等

处理重复消息和业务幂等

设备断线重连后,QoS 1 消息可能再次到达。若消费端把每次投递都当作新事件,告警计数、库存扣减或设备指令就可能重复执行。这里用业务操作标识和数据库唯一约束,让同一事件重复到达时只产生一次业务变更。

学习目标

  • 区分 MQTT 报文重传与业务事件重复,理解 DUP 和 Packet Identifier 的局限。
  • 设计跨重连保持不变的业务操作标识,并用事务实现消费端去重。
  • 运行重复投递测试,确认业务结果仅更新一次。

协议重传为什么会变成业务重复

例如传感器上报一次告警,Broker 已收到 QoS 1 PUBLISH,但发布方未看到 PUBACK。恢复连接后可能重发;应用也可能在超时后主动重新发布相同告警。下游如果每收到一次就将告警次数加一,最终会把一次告警统计成两次。

DUP=1 只说明当前 MQTT PUBLISH 报文是重传尝试,不表示业务载荷一定重复;DUP=0 也可能携带旧业务事件。Packet Identifier 只在相应 QoS 交互过程中有效,完成后可以复用,且发布端到 Broker、Broker 到订阅端各自管理。因此不能用这两个协议字段充当永久业务去重键。QoS 2 也不能替代数据库或外部设备的业务幂等。

把业务标识与状态更新放进同一事务

在载荷中加入 deviceId 和 operationId,例如 sensor-07 与 alarm-001。同一次告警无论发送多少次,都沿用原来的 operationId;新告警必须生成新值。数据库用 (device_id, operation_id) 作为唯一键,防止不同设备恰好使用同一操作编号时互相误判。

消费端先尝试插入去重记录:插入成功才更新统计,唯一键冲突就跳过。去重记录和业务更新必须在同一个事务中提交,否则崩溃后可能出现“标记已处理但业务没做”或相反的情况。

MQTT 重投递经过业务唯一键校验后只执行一次的流程

用 SQLite 复现一次事件的两次投递

以下示例只使用 Python 3 标准库,把 MQTT 客户端收到的 msg.payload(字节串)作为处理入口。为保证每次实验输出一致,先使用内存数据库;真实服务必须替换为可持久化、具备唯一约束的数据库。

python
import json
import sqlite3

conn = sqlite3.connect(":memory:")
conn.execute("CREATE TABLE processed (device_id TEXT, operation_id TEXT, PRIMARY KEY (device_id, operation_id))")
conn.execute("CREATE TABLE alarm_stats (device_id TEXT PRIMARY KEY, total INTEGER NOT NULL)")
conn.execute("INSERT INTO alarm_stats VALUES ('sensor-07', 0)")
conn.commit()

def handle(payload: bytes) -> str:
    event = json.loads(payload)
    with conn:
        # 去重键与统计更新由同一数据库事务提交
        inserted = conn.execute(
            "INSERT OR IGNORE INTO processed VALUES (?, ?)",
            (event["deviceId"], event["operationId"]),
        )
        if inserted.rowcount == 0:
            return "duplicate ignored"
        updated = conn.execute(
            "UPDATE alarm_stats SET total = total + 1 WHERE device_id = ?",
            (event["deviceId"],),
        )
        if updated.rowcount != 1:
            raise ValueError("unknown device")
    return "processed"

payload = b'{"deviceId":"sensor-07","operationId":"alarm-001"}'
print(handle(payload))
print(handle(payload))  # 模拟同一业务事件再次到达
print("alarm total:", conn.execute("SELECT total FROM alarm_stats").fetchone()[0])

预期输出:

text
processed
duplicate ignored
alarm total: 1

第二次调用命中唯一键,计数仍为 1。如果数据库更新抛出异常,事务会回滚,去重键也不会留下“处理成功”的假记录。接入 MQTT 客户端时,应让负责数据库操作的工作线程创建和使用自己的连接,不要直接跨线程共享默认 SQLite 连接。

上线前验证重连与失败边界

  • 用同一个 operationId 重发两次,确认业务计数只变化一次;换一个新标识后应再增加一次。
  • 改成持久化数据库并重启消费者,确认旧操作标识仍能阻止重复执行;仅靠进程内集合无法通过此测试。
  • 同一标识若可能对应不同载荷,还要保存摘要并拒绝内容冲突,避免错误复用编号。
  • 若业务动作是开锁、支付或调用外部接口,数据库事务不能回滚设备的实际动作;必须让下游也识别相同幂等键,或采用持久化任务与补偿机制。

MQTT 负责消息传输的交付保证,消费端负责业务结果的唯一性。真正的验收依据是重复消息到达后状态没有重复改变,而不是日志里有没有 DUP 标志。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

处理重复消息和业务幂等

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通