消息队列 / 系统课时

持久化消息

持久化消息

持久化消息解决的是“Broker 重启后消息还能不能继续存在”这个问题。核心不是只改一个属性,而是同时保证队列可恢复、消息按持久模式发布,并用实际重启验证结果;本节会把这三个条件连成一条可检查的可靠性链路。

学习目标

  • 正确设置 delivery_mode=2,并理解它与队列 durable 的配合关系
  • 区分“持久化”与“每次发布都立即同步刷盘”这两个不同概念
  • 通过重启 RabbitMQ 验证消息是否真的能够恢复

消息要跨重启保留,需要两个条件

AMQP 0-9-1 消息属性中的 delivery_mode 决定发布者是否要求消息按持久模式处理:1 表示非持久,2 表示持久。但只有消息进入一个可在 Broker 重启后恢复的队列,这个属性才有意义,因此最常见的组合是“durable=true 的队列 + delivery_mode=2 的消息”。

如果队列本身是非持久的,Broker 重启后队列会消失,里面的消息也无从恢复。反过来,队列虽然是持久的,但消息使用 delivery_mode=1,也不应依赖它跨重启保存。

持久化消息跨 Broker 重启生效所需的条件

用完整示例发布并恢复一条持久化消息

下面的 Python 程序使用默认 Exchange,把消息直接路由到同名持久队列。publish 模式只负责发布,get 模式在重启后读取并手动确认消息。示例依赖 Python 3 与 pika。

python
import sys
import pika

QUEUE = "durable.demo"
BODY = b"persistent hello"

def open_channel():
    connection = pika.BlockingConnection(
        pika.ConnectionParameters(host="localhost")
    )
    channel = connection.channel()
    # 队列本身必须可恢复,否则消息持久化属性没有落点。
    channel.queue_declare(queue=QUEUE, durable=True)
    return connection, channel

def publish():
    connection, channel = open_channel()
    channel.basic_publish(
        exchange="",
        routing_key=QUEUE,
        body=BODY,
        properties=pika.BasicProperties(
            delivery_mode=2,
            content_type="text/plain",
        ),
    )
    print("published: persistent hello")
    connection.close()

def get():
    connection, channel = open_channel()
    method, properties, body = channel.basic_get(
        queue=QUEUE,
        auto_ack=False,
    )
    if method is None:
        print("queue is empty")
    else:
        print(
            f"received: {body.decode()}, "
            f"delivery_mode={properties.delivery_mode}"
        )
        channel.basic_ack(delivery_tag=method.delivery_tag)
    connection.close()

if __name__ == "__main__":
    if len(sys.argv) != 2 or sys.argv[1] not in {"publish", "get"}:
        raise SystemExit("usage: python persistent_message_demo.py [publish|get]")

    publish() if sys.argv[1] == "publish" else get()

把代码保存为 persistent_message_demo.py,先发布消息,再重启 RabbitMQ 应用,最后读取消息。下面的 rabbitmqctl stop_app 与 start_app 适用于能直接管理本地节点的环境;容器或托管服务应改用对应的节点重启方式。

bash
python -m pip install pika==1.3.2
python persistent_message_demo.py publish
rabbitmqctl stop_app
rabbitmqctl start_app
python persistent_message_demo.py get

预期输出

text
published: persistent hello
received: persistent hello, delivery_mode=2

rabbitmqctl 自身还会打印节点停止和启动信息,实际文本会因 RabbitMQ 安装方式不同而变化;真正要验证的是重启之后仍能读到同一条消息。

持久化不等于发布调用已经完成磁盘同步

delivery_mode=2 表达的是消息的持久化语义,不应被理解成“basic_publish 返回时,这一条消息已经单独完成一次物理磁盘 fsync”。RabbitMQ 会根据队列类型、写入批次、存储实现和节点状态组织持久化,因此仅靠发布方法正常返回,发布者还不能判断 Broker 是否已经承担了这条消息的可靠保存责任。

如果业务要求发布端明确知道消息是否被 Broker 接收,应把持久化与 Publisher Confirm 组合使用。持久化解决“Broker 如何保存”,发布者确认解决“发布端何时可以认为 Broker 已接管”。

什么时候可以认为配置正确

最小验收标准不是看到 delivery_mode=2,而是同时满足:队列声明为持久、消息按持久模式发布、Broker 重启后消息仍能恢复。如果还需要发布端获知 Broker 的接管结果,再叠加 Publisher Confirm;这样“消息能恢复”和“发布者知道何时成功”才是两件都被验证过的事实。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

持久化消息

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通