消息队列 / 系统课时
生产者失败补偿
生产者失败补偿
网络抖动、进程崩溃或确认超时都可能让生产者无法判断“消息到底有没有成功交给 RabbitMQ”。本节用本地消息表把发送意图先持久化,再通过状态记录和定时任务补偿未确认消息,避免一次发送失败直接造成业务事件丢失。
学习目标
- 用本地事务同时保存业务数据和待发送消息
- 设计
PENDING、RETRY、SENT等可恢复状态 - 处理重试带来的重复投递与并发补偿问题
先把发送意图写进本地事务
可靠补偿的核心不是“捕获异常后重试一次”,而是让每条待发送消息都有持久状态。业务写入和本地消息表写入必须处在同一个数据库事务中:事务提交后,业务数据和待发送记录同时存在;事务回滚时,两者一起消失。
下面以 MySQL 为例创建最小业务表和本地消息表,并在一个事务中写入订单与事件。event_id 是稳定的业务消息标识,后续重试必须复用它,而不是每次生成新 ID。
DROP TABLE IF EXISTS producer_outbox;
DROP TABLE IF EXISTS demo_orders;
CREATE TABLE demo_orders (
id BIGINT PRIMARY KEY AUTO_INCREMENT,
order_no VARCHAR(64) NOT NULL UNIQUE,
amount DECIMAL(10, 2) NOT NULL
) ENGINE=InnoDB;
CREATE TABLE producer_outbox (
id BIGINT PRIMARY KEY AUTO_INCREMENT,
event_id VARCHAR(64) NOT NULL UNIQUE,
event_type VARCHAR(64) NOT NULL,
payload JSON NOT NULL,
status ENUM('PENDING', 'RETRY', 'SENT', 'DEAD') NOT NULL DEFAULT 'PENDING',
retry_count INT NOT NULL DEFAULT 0,
next_retry_at DATETIME(3) NOT NULL DEFAULT CURRENT_TIMESTAMP(3),
last_error VARCHAR(255) NULL,
created_at DATETIME(3) NOT NULL DEFAULT CURRENT_TIMESTAMP(3),
updated_at DATETIME(3) NOT NULL DEFAULT CURRENT_TIMESTAMP(3)
ON UPDATE CURRENT_TIMESTAMP(3),
KEY idx_outbox_due (status, next_retry_at)
) ENGINE=InnoDB;
START TRANSACTION;
INSERT INTO demo_orders(order_no, amount)
VALUES ('O-1001', 99.00);
INSERT INTO producer_outbox(event_id, event_type, payload)
VALUES (
'evt-O-1001',
'order.created',
JSON_OBJECT('orderNo', 'O-1001', 'amount', 99.00)
);
COMMIT;
SELECT event_id, status, retry_count
FROM producer_outbox
WHERE event_id = 'evt-O-1001';预期结果
+------------+---------+-------------+
| event_id | status | retry_count |
+------------+---------+-------------+
| evt-O-1001 | PENDING | 0 |
+------------+---------+-------------+实际自增主键和时间字段可能不同,但这三个字段应保持一致。

补偿任务只扫描到期记录
定时任务应按 status 和 next_retry_at 找出当前需要发送的记录,分批处理,避免一次把整个消息表装入内存。前面的联合索引就是为这个扫描路径准备的。
SELECT id, event_id, event_type, payload, retry_count
FROM producer_outbox
WHERE status IN ('PENDING', 'RETRY')
AND next_retry_at <= CURRENT_TIMESTAMP(3)
ORDER BY id
LIMIT 100;预期结果
+------+------------+---------------+--------------------------------------+-------------+
| id | event_id | event_type | payload | retry_count |
+------+------------+---------------+--------------------------------------+-------------+
| <ID> | evt-O-1001 | order.created | <VALUE> | 0 |
+------+------------+---------------+--------------------------------------+-------------+<ID> 是实际自增主键,<VALUE> 表示数据库实际展示的 JSON 文本;其中应包含 orderNo=O-1001 与 amount=99.00 对应的数据,键顺序不作为判断条件。
Worker 拿到记录后发布消息,并把 event_id 放进消息属性或消息体。只有收到明确成功结果后才更新为 SENT;发送异常、publisher nack、确认超时或不可路由返回都应进入失败分支,增加 retry_count、记录 last_error,并把 next_retry_at 推迟到下一次退避时间。
状态更新必须允许再次执行
发送和更新本地消息状态无法天然组成一个原子事务。最典型的不确定窗口是:RabbitMQ 已经接收消息,但生产者在把本地记录改成 SENT 之前崩溃。恢复后补偿任务会再次发送同一个 event_id,因此这套方案保证的是至少一次尝试投递,不是天然的恰好一次。
消费者必须按 event_id 做幂等,例如使用唯一键记录已处理事件,或让业务写操作本身具备幂等约束。生产者端也应避免“状态是 RETRY 就生成新消息 ID”,否则消费者无法识别重复。
并发运行多个补偿 Worker 时,还要防止同一条记录被同时领取。可以用数据库行锁、租约字段或“先抢占状态再发送”的方式实现领取;无论选择哪一种,都要为 Worker 崩溃后的租约过期或状态恢复留下路径。
设置重试上限和人工出口
补偿不应无限持续。网络短暂故障适合指数退避;routing key 错误、Exchange 配置错误或长期权限问题则需要快速告警。达到最大重试次数后,把消息置为 DEAD,保留 payload、最后错误和重试次数,交给人工检查或受控重放。
本地消息表的价值是把“发送结果不确定”转换成“有状态、可查询、可再次执行”的任务。只要业务写入与 outbox 写入同事务、成功确认后再标记 SENT,并让消费者按稳定 event_id 幂等,就能把生产者偶发失败收敛为可运营的补偿流程。