架构与系统设计 / 系统课时

为什么消息会重复消费

为什么消息会重复消费

一条积分事件只发布了一次,用户却得到两次积分,问题可能出在业务提交与消费确认之间。本篇沿着故障发生的位置解释重复来源,并用可运行模拟重现提交成功后再次处理的过程,区分消息重投与业务重复生效。

学习目标

  • 找出至少一次投递中可能产生重复的故障窗口。
  • 区分消费者重投、生产者重发和应用内部重试。
  • 重现一次重复副作用,并提出不牺牲可靠性的处理要求。

业务成功不等于 Broker 已经知道

以 RabbitMQ 手动确认模式为例,消费者用 ACK 告知 Broker 可以结束本次投递。连接或通道关闭后,未确认消息会重新入队;Broker 看不到消费者数据库里的提交结果,只能根据是否收到确认决定后续处理。([RabbitMQ][3])

假设业务操作是“给用户增加 10 积分”,数据库事务与消息确认分别完成。把故障位置放在这两个动作前后,就能得到不同结果。

故障位置 数据库状态 恢复后的风险
事务提交前失败并回滚 尚未增加积分 重投后可以首次生效
提交后、发送 ACK 前崩溃 已经增加积分 重投可能再增加一次
ACK 已发出但 Broker 未收到 已经增加积分 Broker 仍可能重投
Broker 已接受 ACK 后崩溃 已经增加积分 此次未确认恢复机制不再触发重投

这里的关键不是“消费者有没有调用 ACK”,而是 Broker 是否已接受确认。至少一次投递允许为了恢复不确定结果而重新投递,并不承诺业务只执行一次。上述推演假设消息未过期、未被丢弃且仍可重试。([RabbitMQ][8])

数据库已提交但确认未送达时的重复消费窗口

不止消费者崩溃会造成重复

生产者也可能遇到结果未知:消息已经被 Broker 接管,但生产确认在返回途中丢失。生产者重发后,队列里可能出现两个承载同一业务事件的消息。因此,确认超时不能直接等同于发布失败。([RabbitMQ][8])

应用内部重试也需要检查副作用。例如已经提交积分,后续步骤却报错,重试框架再次调用整个处理函数;即使 Broker 没有重新投递,也可能重复增加积分。这里的判断方法是检查重试范围是否包含了已经成功的动作。([Amazon Web Services, Inc.][9])

排查时先按稳定的业务事件标识关联发布、处理和确认记录。RabbitMQ 的 redelivered 只提示代理重投;生产者重新发布出的另一个消息,首次投递时仍可能没有该标记。delivery_tag 又只在当前通道内标识投递,不能作为业务去重键。([RabbitMQ][8])

重现提交后崩溃的窗口

下面是机制模拟,不连接真实 Broker,也不终止 Python 进程。pending 表示尚未确认的事件,异常模拟消费者中断;内存 SQLite 在两次调用之间保持存在,代表没有随消费者一起失效的外部业务数据库,不用于验证断电持久性。

示例只用 Python 标准库。保存为 duplicate_demo.py,使用 python duplicate_demo.py 运行。with db 正常退出时提交事务,异常特意放在它之后;因此第一次业务写入不会被后来的异常回滚。([Python documentation][10])

python
import sqlite3
from collections import deque
from contextlib import closing

def consume_once(db, pending, fail_before_ack=False):
    event_id, points = pending[0]
    # 退出事务块后提交生效,后面的异常不会撤销这次提交。
    with db:
        db.execute(
            "INSERT INTO rewards(event_id, points) VALUES (?, ?)",
            (event_id, points),
        )
    total = db.execute("SELECT SUM(points) FROM rewards").fetchone()[0]
    print(f"业务提交:累计积分={total}")

    if fail_before_ack:
        raise RuntimeError("模拟崩溃:ACK 未送达")

    # 这里只模拟 Broker 接受 ACK 后移除待确认消息。
    pending.popleft()
    print("ACK 已记录")

def main():
    with closing(sqlite3.connect(":memory:")) as db:
        # 故意不设去重约束,让重复业务写入暴露出来。
        db.execute("CREATE TABLE rewards(event_id TEXT, points INTEGER)")
        pending = deque([("reward-demo", 10)])
        try:
            consume_once(db, pending, fail_before_ack=True)
        except RuntimeError as error:
            print(error)

        # 模拟重投:沿用同一事件,而不是创建新事件。
        consume_once(db, pending)
        print(f"待确认消息={len(pending)}")

if __name__ == "__main__":
    main()

预期输出:

text
业务提交:累计积分=10
模拟崩溃:ACK 未送达
业务提交:累计积分=20
ACK 已记录
待确认消息=0

模拟只放入一个事件,却写入了两次积分。最后待确认消息为零,只能说明消息生命周期已经结束,不能证明业务结果正确。reward-demo 是固定测试事件标识,两次处理刻意沿用它。

可以把模拟异常移动到事务块之前再运行:第一次没有写入,第二次正常提交,累计积分应为 10。这个对照验证的是故障窗口,而不是“只要重试就必然重复”。

保留重试,限制重复副作用

不要为了减少重复而提前 ACK,或在 finally 中无条件 ACK。这样会把提交前失败的消息也标为完成,将重复风险换成静默丢失风险。业务成功后再确认,仍然需要接受确认可能丢失这一现实。([RabbitMQ][3])

对于这个积分场景,一个可落地的设计是给事件稳定编号,重试时保持不变;用消费者职责与事件编号联合标识一次处理,把去重记录与积分变更放在同一数据库事务中。发现已经成功处理时,跳过积分变更,再正常确认,而不是再次抛出可重试异常。该设计依赖原子提交,而不是“先查一下是否处理过”。([Amazon Web Services, Inc.][9])

验收标准应该是:同一事件重复到达,积分仍只增加 10。消息可以被投递多次,但业务副作用必须按约定收敛;只看重投次数降为零,无法证明系统更可靠。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

为什么消息会重复消费

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通