架构与系统设计 / 系统课时

一条消息可能在哪些地方丢

一条消息可能在哪些地方丢

订单已经提交,仓库却没有收到通知,问题不一定出在消息服务器。本篇沿业务提交、生产发送、Broker 保存和消费落库寻找丢失窗口,区分真正丢失与结果未知,并用故障模型验证确认顺序为什么影响业务可靠性。

学习目标

  • 沿消息交接边界定位可能丢失的位置及对应保护机制。
  • 区分发布确认、消费 ACK 与业务事务提交的含义。
  • 通过故障模型解释重试为什么需要幂等处理。

先沿责任交接寻找窗口

排查时先区分三种情况:消息仍在积压或重试,只是延迟;发送超时但接收方状态不明,属于结果未知;业务尚未完成,系统却已没有可恢复的消息或待办记录,才需要追查丢失窗口。建议用同一个 eventId 串联各阶段证据。

消息可靠性不是 Broker 的单方承诺。网络中断、客户端退出、服务器故障和确认时机,都可能改变消息由谁负责保存、恢复与重试。下面用队列消息的确认模型说明这些交接边界。([RabbitMQ][6])

消息生产到消费链路中的丢失窗口与保护边界

交接位置 典型丢失窗口 对应保护
业务提交到事件发送 订单已提交,进程在发送前退出 业务更新与 Outbox 同事务
生产者到 Broker 消息仅在本地缓冲,退出后无法恢复 保存待发送状态、发布确认、重试
Broker 内部 未正确路由,或未达到约定的保存条件 路由检查、持久化与副本机制
消费者到业务库 已确认消费,业务提交却失败 业务提交后 ACK,失败保留重投

Outbox 是与业务更新一起提交的待发送事件记录。发送进程随后读取它并投递,避免“订单存在,事件却没留下”的双写窗口;它不等于数据库与 Broker 之间建立了一个原子事务,后续投递仍需处理失败与重复。([AWS 文档][7])

Broker 确认没有覆盖整个业务

以 RabbitMQ 为例,发布确认用于生产者与 Broker 之间的交接;消费 ACK用于消费者告知 Broker 如何处理已投递消息。发布确认不会证明仓库已经扣库存,消费 ACK 也不是业务数据库的提交证明。([RabbitMQ][8])

发布确认还需要结合路由结果判断:无法路由到任何队列的消息也可能获得确认。需要发现这种情况时,应使用 mandatory 并处理返回消息。对于持久化消息进入持久化队列的情况,确认涉及落盘;quorum queue 的确认涉及多数副本接受。([RabbitMQ][8])

“部署了集群”也不等于每个队列都复制了消息,需要核对实际队列类型及副本配置。持久化用于应对相应的重启风险,副本机制用于覆盖其设计范围内的节点故障;两者都不能替代应用侧的正确确认。([RabbitMQ][6])

此外,消息可能按 TTL 过期,或因拒绝、队列长度限制等条件进入死信处理。队列深度减少不等于业务成功;要核查过期、拒绝和死信策略,也不能默认死信转发本身永不丢失。([RabbitMQ][9])

超时为什么仍要准备接收重复

生产者没有收到确认,存在两种可能:Broker 没收到消息,或者 Broker 已保存消息但确认在途中丢失。只凭超时无法区分。保留待发送记录并重试,可以恢复前者,却可能使后者产生重复投递。([RabbitMQ][6])

消费者也有类似窗口:业务已提交,但 ACK 尚未被 Broker 接收,连接就断了。Broker 可能重新投递;反过来,先 ACK 再提交业务,提交失败时通常已经失去正常重投机会。可靠处理因此要同时考虑提交顺序与幂等性。([RabbitMQ][8])

幂等的目标不是保证消息只出现一次,而是让同一事件重复到达时,不重复产生业务效果。真实实现可以将消费去重记录与业务更新放进同一个数据库事务,并用唯一键防止并发重复处理。([microservices.io][10])

用故障模型验证 ACK 顺序

下面是可以直接运行的 Python 3 内存模型,无第三方依赖。它不是 Broker 或数据库实现:字典抽象表示已保存的外部状态,commit 抽象表示一次原子业务提交,crash 只中断首次处理,恢复阶段不再注入故障。

模型假设未被确认的消息会重投,已确认的消息不会重投。<ID> 代表同一事件的稳定标识;实际系统应在重试时保留同一个 eventId,而不是每次生成新值。

python
def simulate(first_steps, deduplicate):
    event_id = "<ID>"
    state = {"acked": False, "effects": 0, "processed": set()}

    def commit():
        if deduplicate and event_id in state["processed"]:
            return
        # 模型把业务效果与去重记录视为同一事务,不模拟真实持久化。
        state["effects"] += 1
        state["processed"].add(event_id)

    for step in first_steps:
        if step == "commit":
            commit()
        elif step == "ack":
            state["acked"] = True
        elif step == "crash":
            break

    # 恢复时只重投未确认消息;此轮业务处理和确认均成功。
    if not state["acked"]:
        commit()
        state["acked"] = True
    return state["effects"]

# 每个场景从独立状态开始,比较最终生效次数而不是投递次数。
cases = [
    ("提前确认后崩溃", ("ack", "crash"), False),
    ("提交前崩溃", ("crash",), False),
    ("提交后确认前崩溃", ("commit", "crash"), False),
    ("提交后确认前崩溃并去重", ("commit", "crash"), True),
]
for label, steps, deduplicate in cases:
    print(f"{label}: {simulate(steps, deduplicate)}")

预期输出:

text
提前确认后崩溃: 0
提交前崩溃: 1
提交后确认前崩溃: 2
提交后确认前崩溃并去重: 1

第一行说明提前确认会让未完成的业务失去模型中的重投机会;第三行说明正确延后确认仍可能重复;第四行才同时保留恢复机会并避免重复生效。这个实验验证的是顺序关系,不是对真实网络、磁盘或副本可靠性的测试。

用证据验证保护是否闭环

建议在隔离测试环境中,分别在“业务提交后发送前”“Broker 接收后确认返回前”“消费提交后 ACK 前”注入进程退出或连接中断。恢复后围绕 eventId 对账,不要只比较发送量与消费量。

针对订单通知,验收应检查:每个应发送的事件,要么已产生一次预期业务效果,要么仍有可恢复的待发送、重试或失败记录。重点查待发送记录是否被过早删除、异常是否被吞掉、消费者是否提前确认,以及失败消息是否仍能补处理。

消息不丢的判断依据,不是某一行“发送成功”日志,而是每次责任交接都有明确确认条件,交接失败仍有恢复依据,重复发生时业务结果仍然正确。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

一条消息可能在哪些地方丢

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通