架构与系统设计 / 系统课时

确认机制如何影响可靠性

确认机制如何影响可靠性

订单事件发出后,你需要分别判断消息是否被中间件接管、故障后能否恢复、业务是否已经完成。本篇拆开生产确认、持久化和消费确认,并通过一次实际发布验证它们的边界,避免用发送成功代替业务成功。

学习目标

  • 区分生产确认、消息持久化和消费确认各自保护的阶段。
  • 解释确认方式对吞吐、延迟与消息安全的影响。
  • 验证生产确认,并识别它不能证明的业务结果。

确认的是哪一段责任

下面以 RabbitMQ 的 AMQP 0-9-1 协议为例。Broker 指负责接收、存储和投递消息的代理服务,不能把不同方向的确认混成一个“成功”。

机制 覆盖的责任 不代表什么
生产确认 Broker 向生产者确认已按相应条件处理发布 消费者已经完成业务
持久化 按队列与存储机制保存消息 消息绝不会因任何故障丢失
消费确认 消费者告知 Broker 可以结束这次投递、释放消息 Broker 已核验业务数据库的结果

生产确认与消费确认彼此独立。持久化是存储动作,可以成为生产确认的前提,但不是消费者处理完成的证据。([RabbitMQ][1])

生产确认、存储与消费确认的责任边界

持久化要对齐故障范围

对于经典队列,durable=True 让队列元数据持久化,发布时 delivery_mode=2 请求消息持久化。只有持久队列而没有持久消息,仍不能指望重启后恢复这些消息。([RabbitMQ][2])

持久化标记只是要求,不是落盘证明。持久消息路由到持久队列后,Broker 会在持久化完成后发出生产确认;因此,不能只设置标记而不检查确认结果。([RabbitMQ][3])

单副本落盘不能抵御该副本磁盘永久损坏。需要副本容错时,可评估 quorum 队列:生产确认要等消息复制到多数队列成员。三个成员分布在三个节点时,可以容忍一个节点不可用,但不是可以失去全部数据副本。([RabbitMQ][4])

吞吐与延迟主要花在哪里

选择 主要成本 可靠性上的注意点
每发一条就等待生产确认 后续发送被确认等待阻塞 容易限制吞吐
批量或异步处理生产确认 维护未确认消息与重试状态 仍需处理失败和结果未知
等待落盘或副本确认 磁盘写入、复制与协调 换取相应故障范围内的数据安全
业务完成后手动 ACK 消息更久处于未确认状态 用有限预取避免积压压垮消费者

优先通过批量或有界异步摊薄等待,而不是关闭确认。异步确认只是发送线程不逐条阻塞,仍然需要跟踪结果;持久队列本身也不等于每条消息都新增一次同步刷盘。([RabbitMQ][5])

RabbitMQ 的自动 ACK 不会等待业务回调成功,消费者故障时可能丢失尚未处理的消息。手动 ACK 更安全,但必须在业务完成后发送;并行处理时,批量 ACK 不能顺带确认尚未完成的投递。([RabbitMQ][1])

验证生产确认不等于业务完成

准备 Python 3 和一个本机 RabbitMQ 测试实例,使用默认 AMQP 端口及本机测试凭据。示例队列 ack-boundary-demo 不应有其他消费者,也不要使用生产队列。先在当前 Python 环境安装 Pika。

bash
# 安装到运行示例所用的同一个 Python 环境。
python -m pip install "pika>=1.3,<2" && python -c "import pika; print('PIKA_READY')"

预期输出:安装成功后最后一行为以下内容;前面的安装日志可能不同。

text
PIKA_READY

保存下面代码为 publish_confirm.py,使用 python publish_confirm.py 运行。Pika 阻塞客户端启用确认后,发布调用等待确认;配合 mandatory=True,不可路由的返回也会作为异常暴露给调用方。([Pika][6])

python
import pika

def main():
    connection = pika.BlockingConnection(
        pika.ConnectionParameters(host="localhost")
    )
    try:
        channel = connection.channel()
        # 队列持久化与消息持久化是两个不同设置。
        channel.queue_declare(
            queue="ack-boundary-demo",
            durable=True,
            arguments={"x-queue-type": "classic"},
        )
        # 开启后,阻塞客户端的发布调用会等待生产确认。
        channel.confirm_delivery()
        channel.basic_publish(
            exchange="",
            routing_key="ack-boundary-demo",
            body=b'{"eventType":"OrderConfirmed"}',
            properties=pika.BasicProperties(
                delivery_mode=2,
                content_type="application/json",
            ),
            mandatory=True,  # 无法路由时必须让调用方知道。
        )
        print("PUBLISH_CONFIRMED")
        print("BUSINESS_STATUS=UNKNOWN")
    finally:
        if connection.is_open:
            connection.close()

if __name__ == "__main__":
    main()

预期输出:测试实例可连接、队列声明一致且发布成功时,脚本打印:

text
PUBLISH_CONFIRMED
BUSINESS_STATUS=UNKNOWN

没有启动消费者,仍然能够收到生产确认。这直接验证了两种确认的独立性。把路由键改成一个确定不存在的队列名,Pika 应抛出 UnroutableError,而不是打印发布成功;不要把任何异常统一解释成“消息肯定没进去”。([Pika][7])

本例仅验证发布边界,没有实现自动重试,也没有证明完整业务链路可靠。实际验收应同时检查确认时延、业务完成时延、未确认消息数量和故障后的恢复结果,不能只比较发送函数的返回速度。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

确认机制如何影响可靠性

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通