架构与系统设计 / 系统课时

处理重复消费与乱序事件

处理重复消费与乱序事件

至少一次投递会让同一事件被消费者看到多次,而跨分区、重试或并发处理又可能让后发事件先到。如果消费者只按“收到就执行”处理,很容易重复扣款或让旧状态覆盖新状态。本篇用去重键、版本检查和状态机三道防线构造可靠的消费路径。

学习目标

  • 能用稳定事件 ID 阻止同一消息重复生效
  • 能用聚合版本识别旧事件和版本缺口
  • 能用状态机拒绝非法迁移,并正确决定重试、跳过或人工检查

把三类异常分开处理

重复、旧事件和乱序缺口不是同一种情况。重复消息通常具有相同的 event_id;旧事件的版本号小于或等于当前版本;真正需要等待的乱序事件则形成版本缺口,例如当前聚合是版本 1,却先收到版本 3。

消费者的判断顺序可以固定为:先查去重键,再检查版本,最后验证状态迁移。需要产生新业务效果的事件只有在业务状态成功提交后,才能被记录为“已处理”并 ACK;重复或已过期事件则作为无副作用结果直接 ACK。

消费者处理重复、乱序和状态迁移的决策流程

用版本和状态机保护消费者

下面的完整 Python 示例模拟订单消费者。版本 3 先于版本 2 到达时不会直接应用,而是返回 GAP;等版本 2 成功后再次投递版本 3 才能继续。已经成功处理的同一事件再次到达,则由 event_id 去重。

python
from dataclasses import dataclass
from typing import Dict, Set, Tuple

@dataclass(frozen=True)
class Event:
    event_id: str
    aggregate_id: str
    version: int
    target_state: str

ALLOWED = {
    "CREATED": {"PAID"},
    "PAID": {"PACKED"},
    "PACKED": {"SHIPPED"},
    "SHIPPED": set(),
}

seen: Set[str] = set()
orders: Dict[str, Tuple[int, str]] = {"<ID>": (0, "CREATED")}

def consume(event: Event) -> str:
    if event.event_id in seen:
        return "DUPLICATE"

    current_version, current_state = orders[event.aggregate_id]

    if event.version <= current_version:
        return "STALE"
    if event.version > current_version + 1:
        return "GAP"
    if event.target_state not in ALLOWED[current_state]:
        return "INVALID_TRANSITION"

    orders[event.aggregate_id] = (event.version, event.target_state)
    seen.add(event.event_id)
    return "APPLIED"

if __name__ == "__main__":
    events = [
        Event("<ID>-1", "<ID>", 1, "PAID"),
        Event("<ID>-1", "<ID>", 1, "PAID"),
        Event("<ID>-3", "<ID>", 3, "SHIPPED"),
        Event("<ID>-2", "<ID>", 2, "PACKED"),
        Event("<ID>-3", "<ID>", 3, "SHIPPED"),
    ]
    for event in events:
        result = consume(event)
        print(f"{event.event_id} v{event.version} -> {result}")
    print(f"order={orders['<ID>']}")

预期输出

text
<ID>-1 v1 -> APPLIED
<ID>-1 v1 -> DUPLICATE
<ID>-3 v3 -> GAP
<ID>-2 v2 -> APPLIED
<ID>-3 v3 -> APPLIED
order=(3, 'SHIPPED')

<ID> 代表运行时生成的真实事件或聚合 ID,实际值会不同。示例故意没有把产生 GAP 的版本 3 事件加入去重集合,因为它尚未真正生效;如果提前标记成已处理,后续重试就永远无法补上该版本。

让去重记录与业务提交原子化

生产环境不能把“更新订单状态”和“写入去重记录”做成两个独立提交。如果业务状态已经写入,而进程在去重记录写入之前崩溃,消息重新投递时仍可能再次执行副作用。常见做法是在同一个数据库事务中更新业务行并插入带唯一约束的事件 ID,提交成功后再 ACK。

版本字段应在同一聚合内部单调递增。多个互不相关的订单没有必要建立全局总顺序;只维护聚合内部的因果顺序,可以避免为了排序把整个消息系统串行化。

为乱序选择等待、重放或丢弃

当 version > current + 1 时,说明存在版本缺口。短时乱序可以进入延迟队列后重试,确认缺失事件时可以从事件日志重放;如果事件本身是完整快照,也可以设计成只接受更高版本的覆盖规则,而不强求逐版本执行。

当 version <= current 时,事件通常不会带来新状态,可以作为旧事件跳过。非法状态迁移则不同,例如订单仍为 CREATED 却收到 SHIPPED,它往往意味着数据错误、缺失事件或生产者模型失配,应进入死信或人工检查,而不是无限重试。

可靠消费者的目标不是“尽量执行每条消息”,而是只允许满足去重、版本规则和合法状态迁移的事件改变业务状态。这样即使传输层只能提供至少一次投递,业务层仍能保持可预测的一致性。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

处理重复消费与乱序事件

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通