架构与系统设计 / 系统课时
为什么消息会重复消费
为什么消息会重复消费
一条积分事件只发布了一次,用户却得到两次积分,问题可能出在业务提交与消费确认之间。本篇沿着故障发生的位置解释重复来源,并用可运行模拟重现提交成功后再次处理的过程,区分消息重投与业务重复生效。
学习目标
- 找出至少一次投递中可能产生重复的故障窗口。
- 区分消费者重投、生产者重发和应用内部重试。
- 重现一次重复副作用,并提出不牺牲可靠性的处理要求。
业务成功不等于 Broker 已经知道
以 RabbitMQ 手动确认模式为例,消费者用 ACK 告知 Broker 可以结束本次投递。连接或通道关闭后,未确认消息会重新入队;Broker 看不到消费者数据库里的提交结果,只能根据是否收到确认决定后续处理。([RabbitMQ][3])
假设业务操作是“给用户增加 10 积分”,数据库事务与消息确认分别完成。把故障位置放在这两个动作前后,就能得到不同结果。
| 故障位置 | 数据库状态 | 恢复后的风险 |
|---|---|---|
| 事务提交前失败并回滚 | 尚未增加积分 | 重投后可以首次生效 |
| 提交后、发送 ACK 前崩溃 | 已经增加积分 | 重投可能再增加一次 |
| ACK 已发出但 Broker 未收到 | 已经增加积分 | Broker 仍可能重投 |
| Broker 已接受 ACK 后崩溃 | 已经增加积分 | 此次未确认恢复机制不再触发重投 |
这里的关键不是“消费者有没有调用 ACK”,而是 Broker 是否已接受确认。至少一次投递允许为了恢复不确定结果而重新投递,并不承诺业务只执行一次。上述推演假设消息未过期、未被丢弃且仍可重试。([RabbitMQ][8])

不止消费者崩溃会造成重复
生产者也可能遇到结果未知:消息已经被 Broker 接管,但生产确认在返回途中丢失。生产者重发后,队列里可能出现两个承载同一业务事件的消息。因此,确认超时不能直接等同于发布失败。([RabbitMQ][8])
应用内部重试也需要检查副作用。例如已经提交积分,后续步骤却报错,重试框架再次调用整个处理函数;即使 Broker 没有重新投递,也可能重复增加积分。这里的判断方法是检查重试范围是否包含了已经成功的动作。([Amazon Web Services, Inc.][9])
排查时先按稳定的业务事件标识关联发布、处理和确认记录。RabbitMQ 的 redelivered 只提示代理重投;生产者重新发布出的另一个消息,首次投递时仍可能没有该标记。delivery_tag 又只在当前通道内标识投递,不能作为业务去重键。([RabbitMQ][8])
重现提交后崩溃的窗口
下面是机制模拟,不连接真实 Broker,也不终止 Python 进程。pending 表示尚未确认的事件,异常模拟消费者中断;内存 SQLite 在两次调用之间保持存在,代表没有随消费者一起失效的外部业务数据库,不用于验证断电持久性。
示例只用 Python 标准库。保存为 duplicate_demo.py,使用 python duplicate_demo.py 运行。with db 正常退出时提交事务,异常特意放在它之后;因此第一次业务写入不会被后来的异常回滚。([Python documentation][10])
import sqlite3
from collections import deque
from contextlib import closing
def consume_once(db, pending, fail_before_ack=False):
event_id, points = pending[0]
# 退出事务块后提交生效,后面的异常不会撤销这次提交。
with db:
db.execute(
"INSERT INTO rewards(event_id, points) VALUES (?, ?)",
(event_id, points),
)
total = db.execute("SELECT SUM(points) FROM rewards").fetchone()[0]
print(f"业务提交:累计积分={total}")
if fail_before_ack:
raise RuntimeError("模拟崩溃:ACK 未送达")
# 这里只模拟 Broker 接受 ACK 后移除待确认消息。
pending.popleft()
print("ACK 已记录")
def main():
with closing(sqlite3.connect(":memory:")) as db:
# 故意不设去重约束,让重复业务写入暴露出来。
db.execute("CREATE TABLE rewards(event_id TEXT, points INTEGER)")
pending = deque([("reward-demo", 10)])
try:
consume_once(db, pending, fail_before_ack=True)
except RuntimeError as error:
print(error)
# 模拟重投:沿用同一事件,而不是创建新事件。
consume_once(db, pending)
print(f"待确认消息={len(pending)}")
if __name__ == "__main__":
main()预期输出:
业务提交:累计积分=10
模拟崩溃:ACK 未送达
业务提交:累计积分=20
ACK 已记录
待确认消息=0模拟只放入一个事件,却写入了两次积分。最后待确认消息为零,只能说明消息生命周期已经结束,不能证明业务结果正确。reward-demo 是固定测试事件标识,两次处理刻意沿用它。
可以把模拟异常移动到事务块之前再运行:第一次没有写入,第二次正常提交,累计积分应为 10。这个对照验证的是故障窗口,而不是“只要重试就必然重复”。
保留重试,限制重复副作用
不要为了减少重复而提前 ACK,或在 finally 中无条件 ACK。这样会把提交前失败的消息也标为完成,将重复风险换成静默丢失风险。业务成功后再确认,仍然需要接受确认可能丢失这一现实。([RabbitMQ][3])
对于这个积分场景,一个可落地的设计是给事件稳定编号,重试时保持不变;用消费者职责与事件编号联合标识一次处理,把去重记录与积分变更放在同一数据库事务中。发现已经成功处理时,跳过积分变更,再正常确认,而不是再次抛出可重试异常。该设计依赖原子提交,而不是“先查一下是否处理过”。([Amazon Web Services, Inc.][9])
验收标准应该是:同一事件重复到达,积分仍只增加 10。消息可以被投递多次,但业务副作用必须按约定收敛;只看重投次数降为零,无法证明系统更可靠。