架构与系统设计 / 系统课时

可靠消息投递

可靠消息投递

本课将设计一条从本地事务到消息队列再到消费者的可靠投递链路,使用事务消息表、发布确认和消费确认处理“数据库已提交但消息未发送”“消息重复投递”和“消费中途失败”等常见问题。

学习目标

  • 使用事务消息表保证业务数据与待发送事件同时落库
  • 通过发布确认、重试和状态更新避免消息静默丢失
  • 通过手动消费确认和业务幂等安全处理重复消息

可靠投递要解决什么

可靠消息并不等于“绝不重复”。工程上更常见的目标是至少投递一次:消息不能静默丢失,但允许在超时、网络抖动或确认丢失时重复发送。因此,生产端要能重试,消费端要能幂等。

整条链路包含业务服务、业务数据库、消息发布任务、消息代理和消费者五个对象。任何两个对象之间都可能失败,因此需要把每一步的结果持久化并允许重新执行。

可靠消息投递时序图

建立事务消息表

业务数据与待发送消息必须在同一个本地事务中写入。这样,订单更新成功时一定存在待发送事件;事务回滚时,两者也会一起回滚。

sql
CREATE TABLE outbox_message (
    id BIGINT PRIMARY KEY AUTO_INCREMENT,
    event_id VARCHAR(64) NOT NULL,
    topic VARCHAR(128) NOT NULL,
    message_key VARCHAR(128) NOT NULL,
    payload JSON NOT NULL,
    status VARCHAR(16) NOT NULL,
    retry_count INT NOT NULL DEFAULT 0,
    next_retry_at DATETIME NOT NULL,
    created_at DATETIME NOT NULL DEFAULT CURRENT_TIMESTAMP,
    updated_at DATETIME NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP,
    UNIQUE KEY uk_event_id (event_id),
    KEY idx_publish_scan (status, next_retry_at)
);

预期结果:表创建成功,event_id 保证同一业务事件只写入一次,联合索引支持发布任务按状态和下次重试时间扫描。

text
Query OK, 0 rows affected

消息初始状态可设为 NEW,发布确认后改为 SENT,多次失败且超过阈值后改为 DEAD。payload 保存消费者真正需要的业务快照,避免发送时再次查询业务表后得到已经变化的数据。

在同一事务中写业务与消息

下面的片段示例依赖 Spring 事务和已实现的两个仓储接口。关键点是订单更新与消息插入位于同一个 @Transactional 方法中。

java
import com.fasterxml.jackson.core.JsonProcessingException;
import com.fasterxml.jackson.databind.ObjectMapper;
import org.springframework.transaction.annotation.Transactional;

import java.time.Instant;
import java.util.UUID;

public class PaymentEventService {

    private final PayOrderRepository orderRepository;
    private final OutboxRepository outboxRepository;
    private final ObjectMapper objectMapper;

    public PaymentEventService(
            PayOrderRepository orderRepository,
            OutboxRepository outboxRepository,
            ObjectMapper objectMapper) {
        this.orderRepository = orderRepository;
        this.outboxRepository = outboxRepository;
        this.objectMapper = objectMapper;
    }

    @Transactional
    public void confirmPayment(String orderNo, String channelTradeNo) {
        int affected = orderRepository.markSuccess(orderNo, channelTradeNo);
        if (affected != 1) {
            throw new IllegalStateException("订单状态不允许更新");
        }

        PaymentSucceeded payload = new PaymentSucceeded(orderNo, channelTradeNo, Instant.now());
        outboxRepository.insert(
                UUID.randomUUID().toString(),
                "payment.succeeded",
                orderNo,
                toJson(payload)
        );
    }

    private String toJson(PaymentSucceeded payload) {
        try {
            return objectMapper.writeValueAsString(payload);
        } catch (JsonProcessingException e) {
            throw new IllegalStateException("消息序列化失败", e);
        }
    }

    public record PaymentSucceeded(
            String orderNo,
            String channelTradeNo,
            Instant occurredAt) {
    }

    public interface PayOrderRepository {
        int markSuccess(String orderNo, String channelTradeNo);
    }

    public interface OutboxRepository {
        void insert(String eventId, String topic, String messageKey, String payload);
    }
}

预期结果:方法成功提交后,订单状态和一条 NEW 消息同时存在;任一数据库操作抛出异常时,两者都不会提交。

text
事务提交:订单状态=SUCCESS,消息状态=NEW
事务回滚:订单状态保持原值,消息记录不存在

发布确认与重试

发布任务按批次查询 NEW 或到期可重试的消息,发送时携带唯一 event_id。只有消息代理返回发布确认后,才能把记录改为 SENT。发送异常、超时或否定确认时,应增加 retry_count,并计算下一次重试时间。

重试间隔可以采用指数退避,例如第 nn 次失败后等待:

delayn=min⁡(2n×5秒,30分钟)delay_n = \min(2^n \times 5\text{秒}, 30\text{分钟})

扫描任务要避免多个实例重复抢同一批数据。可以使用 SELECT ... FOR UPDATE SKIP LOCKED、分布式锁,或先原子地把记录从 NEW 改为 SENDING。即使仍发生重复发布,也必须依靠消费端幂等保证业务安全。

消费确认与幂等

消费者应关闭自动确认。收到消息后,先用 event_id 判断是否已经处理,再执行业务更新,最后提交本地事务并发送 ACK。若业务处理失败,应 NACK 并允许重投;若是不可恢复的格式错误,可进入死信队列。

常用幂等方式是在消费数据库建立 consumed_event(event_id) 唯一键,并让“插入消费记录”和“执行业务更新”处于同一事务。重复消息再次插入相同 event_id 时会触发唯一键冲突,消费者将其视为已处理并直接 ACK。

不要只依赖消息队列的去重功能,因为确认丢失、消费者重启和跨队列转发仍可能产生重复。真正决定业务是否重复执行的边界在消费者自己的数据库事务中。

运行与验收

先完成一次正常链路,确认消息从 NEW 变为 SENT,消费者成功 ACK,并产生一条消费幂等记录。随后分别模拟消息代理不可用、发布确认超时和消费者处理异常,检查消息是否按预期重试。

验收结果应满足:生产端失败不会丢消息;确认丢失可能造成重复发布,但不会重复修改业务;连续失败的消息最终进入 DEAD 或死信队列,并带有可检索的事件编号和失败原因。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

可靠消息投递

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通