消息队列 / 系统课时

生产者失败补偿

生产者失败补偿

网络抖动、进程崩溃或确认超时都可能让生产者无法判断“消息到底有没有成功交给 RabbitMQ”。本节用本地消息表把发送意图先持久化,再通过状态记录和定时任务补偿未确认消息,避免一次发送失败直接造成业务事件丢失。

学习目标

  • 用本地事务同时保存业务数据和待发送消息
  • 设计 PENDING、RETRY、SENT 等可恢复状态
  • 处理重试带来的重复投递与并发补偿问题

先把发送意图写进本地事务

可靠补偿的核心不是“捕获异常后重试一次”,而是让每条待发送消息都有持久状态。业务写入和本地消息表写入必须处在同一个数据库事务中:事务提交后,业务数据和待发送记录同时存在;事务回滚时,两者一起消失。

下面以 MySQL 为例创建最小业务表和本地消息表,并在一个事务中写入订单与事件。event_id 是稳定的业务消息标识,后续重试必须复用它,而不是每次生成新 ID。

sql
DROP TABLE IF EXISTS producer_outbox;
DROP TABLE IF EXISTS demo_orders;

CREATE TABLE demo_orders (
    id BIGINT PRIMARY KEY AUTO_INCREMENT,
    order_no VARCHAR(64) NOT NULL UNIQUE,
    amount DECIMAL(10, 2) NOT NULL
) ENGINE=InnoDB;

CREATE TABLE producer_outbox (
    id BIGINT PRIMARY KEY AUTO_INCREMENT,
    event_id VARCHAR(64) NOT NULL UNIQUE,
    event_type VARCHAR(64) NOT NULL,
    payload JSON NOT NULL,
    status ENUM('PENDING', 'RETRY', 'SENT', 'DEAD') NOT NULL DEFAULT 'PENDING',
    retry_count INT NOT NULL DEFAULT 0,
    next_retry_at DATETIME(3) NOT NULL DEFAULT CURRENT_TIMESTAMP(3),
    last_error VARCHAR(255) NULL,
    created_at DATETIME(3) NOT NULL DEFAULT CURRENT_TIMESTAMP(3),
    updated_at DATETIME(3) NOT NULL DEFAULT CURRENT_TIMESTAMP(3)
        ON UPDATE CURRENT_TIMESTAMP(3),
    KEY idx_outbox_due (status, next_retry_at)
) ENGINE=InnoDB;

START TRANSACTION;

INSERT INTO demo_orders(order_no, amount)
VALUES ('O-1001', 99.00);

INSERT INTO producer_outbox(event_id, event_type, payload)
VALUES (
    'evt-O-1001',
    'order.created',
    JSON_OBJECT('orderNo', 'O-1001', 'amount', 99.00)
);

COMMIT;

SELECT event_id, status, retry_count
FROM producer_outbox
WHERE event_id = 'evt-O-1001';

预期结果

text
+------------+---------+-------------+
| event_id   | status  | retry_count |
+------------+---------+-------------+
| evt-O-1001 | PENDING |           0 |
+------------+---------+-------------+

实际自增主键和时间字段可能不同,但这三个字段应保持一致。

本地消息表驱动的生产者失败补偿闭环

补偿任务只扫描到期记录

定时任务应按 status 和 next_retry_at 找出当前需要发送的记录,分批处理,避免一次把整个消息表装入内存。前面的联合索引就是为这个扫描路径准备的。

sql
SELECT id, event_id, event_type, payload, retry_count
FROM producer_outbox
WHERE status IN ('PENDING', 'RETRY')
  AND next_retry_at <= CURRENT_TIMESTAMP(3)
ORDER BY id
LIMIT 100;

预期结果

text
+------+------------+---------------+--------------------------------------+-------------+
| id   | event_id   | event_type    | payload                              | retry_count |
+------+------------+---------------+--------------------------------------+-------------+
| <ID> | evt-O-1001 | order.created | <VALUE> |           0 |
+------+------------+---------------+--------------------------------------+-------------+

<ID> 是实际自增主键,<VALUE> 表示数据库实际展示的 JSON 文本;其中应包含 orderNo=O-1001 与 amount=99.00 对应的数据,键顺序不作为判断条件。

Worker 拿到记录后发布消息,并把 event_id 放进消息属性或消息体。只有收到明确成功结果后才更新为 SENT;发送异常、publisher nack、确认超时或不可路由返回都应进入失败分支,增加 retry_count、记录 last_error,并把 next_retry_at 推迟到下一次退避时间。

状态更新必须允许再次执行

发送和更新本地消息状态无法天然组成一个原子事务。最典型的不确定窗口是:RabbitMQ 已经接收消息,但生产者在把本地记录改成 SENT 之前崩溃。恢复后补偿任务会再次发送同一个 event_id,因此这套方案保证的是至少一次尝试投递,不是天然的恰好一次。

消费者必须按 event_id 做幂等,例如使用唯一键记录已处理事件,或让业务写操作本身具备幂等约束。生产者端也应避免“状态是 RETRY 就生成新消息 ID”,否则消费者无法识别重复。

并发运行多个补偿 Worker 时,还要防止同一条记录被同时领取。可以用数据库行锁、租约字段或“先抢占状态再发送”的方式实现领取;无论选择哪一种,都要为 Worker 崩溃后的租约过期或状态恢复留下路径。

设置重试上限和人工出口

补偿不应无限持续。网络短暂故障适合指数退避;routing key 错误、Exchange 配置错误或长期权限问题则需要快速告警。达到最大重试次数后,把消息置为 DEAD,保留 payload、最后错误和重试次数,交给人工检查或受控重放。

本地消息表的价值是把“发送结果不确定”转换成“有状态、可查询、可再次执行”的任务。只要业务写入与 outbox 写入同事务、成功确认后再标记 SENT,并让消费者按稳定 event_id 幂等,就能把生产者偶发失败收敛为可运营的补偿流程。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

生产者失败补偿

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通