单片机与物联网 / 系统课时
处理重复消息和业务幂等
处理重复消息和业务幂等
设备断线重连后,QoS 1 消息可能再次到达。若消费端把每次投递都当作新事件,告警计数、库存扣减或设备指令就可能重复执行。这里用业务操作标识和数据库唯一约束,让同一事件重复到达时只产生一次业务变更。
学习目标
- 区分 MQTT 报文重传与业务事件重复,理解
DUP和 Packet Identifier 的局限。 - 设计跨重连保持不变的业务操作标识,并用事务实现消费端去重。
- 运行重复投递测试,确认业务结果仅更新一次。
协议重传为什么会变成业务重复
例如传感器上报一次告警,Broker 已收到 QoS 1 PUBLISH,但发布方未看到 PUBACK。恢复连接后可能重发;应用也可能在超时后主动重新发布相同告警。下游如果每收到一次就将告警次数加一,最终会把一次告警统计成两次。
DUP=1 只说明当前 MQTT PUBLISH 报文是重传尝试,不表示业务载荷一定重复;DUP=0 也可能携带旧业务事件。Packet Identifier 只在相应 QoS 交互过程中有效,完成后可以复用,且发布端到 Broker、Broker 到订阅端各自管理。因此不能用这两个协议字段充当永久业务去重键。QoS 2 也不能替代数据库或外部设备的业务幂等。
把业务标识与状态更新放进同一事务
在载荷中加入 deviceId 和 operationId,例如 sensor-07 与 alarm-001。同一次告警无论发送多少次,都沿用原来的 operationId;新告警必须生成新值。数据库用 (device_id, operation_id) 作为唯一键,防止不同设备恰好使用同一操作编号时互相误判。
消费端先尝试插入去重记录:插入成功才更新统计,唯一键冲突就跳过。去重记录和业务更新必须在同一个事务中提交,否则崩溃后可能出现“标记已处理但业务没做”或相反的情况。

用 SQLite 复现一次事件的两次投递
以下示例只使用 Python 3 标准库,把 MQTT 客户端收到的 msg.payload(字节串)作为处理入口。为保证每次实验输出一致,先使用内存数据库;真实服务必须替换为可持久化、具备唯一约束的数据库。
import json
import sqlite3
conn = sqlite3.connect(":memory:")
conn.execute("CREATE TABLE processed (device_id TEXT, operation_id TEXT, PRIMARY KEY (device_id, operation_id))")
conn.execute("CREATE TABLE alarm_stats (device_id TEXT PRIMARY KEY, total INTEGER NOT NULL)")
conn.execute("INSERT INTO alarm_stats VALUES ('sensor-07', 0)")
conn.commit()
def handle(payload: bytes) -> str:
event = json.loads(payload)
with conn:
# 去重键与统计更新由同一数据库事务提交
inserted = conn.execute(
"INSERT OR IGNORE INTO processed VALUES (?, ?)",
(event["deviceId"], event["operationId"]),
)
if inserted.rowcount == 0:
return "duplicate ignored"
updated = conn.execute(
"UPDATE alarm_stats SET total = total + 1 WHERE device_id = ?",
(event["deviceId"],),
)
if updated.rowcount != 1:
raise ValueError("unknown device")
return "processed"
payload = b'{"deviceId":"sensor-07","operationId":"alarm-001"}'
print(handle(payload))
print(handle(payload)) # 模拟同一业务事件再次到达
print("alarm total:", conn.execute("SELECT total FROM alarm_stats").fetchone()[0])预期输出:
processed
duplicate ignored
alarm total: 1第二次调用命中唯一键,计数仍为 1。如果数据库更新抛出异常,事务会回滚,去重键也不会留下“处理成功”的假记录。接入 MQTT 客户端时,应让负责数据库操作的工作线程创建和使用自己的连接,不要直接跨线程共享默认 SQLite 连接。
上线前验证重连与失败边界
- 用同一个
operationId重发两次,确认业务计数只变化一次;换一个新标识后应再增加一次。 - 改成持久化数据库并重启消费者,确认旧操作标识仍能阻止重复执行;仅靠进程内集合无法通过此测试。
- 同一标识若可能对应不同载荷,还要保存摘要并拒绝内容冲突,避免错误复用编号。
- 若业务动作是开锁、支付或调用外部接口,数据库事务不能回滚设备的实际动作;必须让下游也识别相同幂等键,或采用持久化任务与补偿机制。
MQTT 负责消息传输的交付保证,消费端负责业务结果的唯一性。真正的验收依据是重复消息到达后状态没有重复改变,而不是日志里有没有 DUP 标志。