架构与系统设计 / 系统课时
可靠消息投递
可靠消息投递
本课将设计一条从本地事务到消息队列再到消费者的可靠投递链路,使用事务消息表、发布确认和消费确认处理“数据库已提交但消息未发送”“消息重复投递”和“消费中途失败”等常见问题。
学习目标
- 使用事务消息表保证业务数据与待发送事件同时落库
- 通过发布确认、重试和状态更新避免消息静默丢失
- 通过手动消费确认和业务幂等安全处理重复消息
可靠投递要解决什么
可靠消息并不等于“绝不重复”。工程上更常见的目标是至少投递一次:消息不能静默丢失,但允许在超时、网络抖动或确认丢失时重复发送。因此,生产端要能重试,消费端要能幂等。
整条链路包含业务服务、业务数据库、消息发布任务、消息代理和消费者五个对象。任何两个对象之间都可能失败,因此需要把每一步的结果持久化并允许重新执行。

建立事务消息表
业务数据与待发送消息必须在同一个本地事务中写入。这样,订单更新成功时一定存在待发送事件;事务回滚时,两者也会一起回滚。
CREATE TABLE outbox_message (
id BIGINT PRIMARY KEY AUTO_INCREMENT,
event_id VARCHAR(64) NOT NULL,
topic VARCHAR(128) NOT NULL,
message_key VARCHAR(128) NOT NULL,
payload JSON NOT NULL,
status VARCHAR(16) NOT NULL,
retry_count INT NOT NULL DEFAULT 0,
next_retry_at DATETIME NOT NULL,
created_at DATETIME NOT NULL DEFAULT CURRENT_TIMESTAMP,
updated_at DATETIME NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP,
UNIQUE KEY uk_event_id (event_id),
KEY idx_publish_scan (status, next_retry_at)
);预期结果:表创建成功,event_id 保证同一业务事件只写入一次,联合索引支持发布任务按状态和下次重试时间扫描。
Query OK, 0 rows affected消息初始状态可设为 NEW,发布确认后改为 SENT,多次失败且超过阈值后改为 DEAD。payload 保存消费者真正需要的业务快照,避免发送时再次查询业务表后得到已经变化的数据。
在同一事务中写业务与消息
下面的片段示例依赖 Spring 事务和已实现的两个仓储接口。关键点是订单更新与消息插入位于同一个 @Transactional 方法中。
import com.fasterxml.jackson.core.JsonProcessingException;
import com.fasterxml.jackson.databind.ObjectMapper;
import org.springframework.transaction.annotation.Transactional;
import java.time.Instant;
import java.util.UUID;
public class PaymentEventService {
private final PayOrderRepository orderRepository;
private final OutboxRepository outboxRepository;
private final ObjectMapper objectMapper;
public PaymentEventService(
PayOrderRepository orderRepository,
OutboxRepository outboxRepository,
ObjectMapper objectMapper) {
this.orderRepository = orderRepository;
this.outboxRepository = outboxRepository;
this.objectMapper = objectMapper;
}
@Transactional
public void confirmPayment(String orderNo, String channelTradeNo) {
int affected = orderRepository.markSuccess(orderNo, channelTradeNo);
if (affected != 1) {
throw new IllegalStateException("订单状态不允许更新");
}
PaymentSucceeded payload = new PaymentSucceeded(orderNo, channelTradeNo, Instant.now());
outboxRepository.insert(
UUID.randomUUID().toString(),
"payment.succeeded",
orderNo,
toJson(payload)
);
}
private String toJson(PaymentSucceeded payload) {
try {
return objectMapper.writeValueAsString(payload);
} catch (JsonProcessingException e) {
throw new IllegalStateException("消息序列化失败", e);
}
}
public record PaymentSucceeded(
String orderNo,
String channelTradeNo,
Instant occurredAt) {
}
public interface PayOrderRepository {
int markSuccess(String orderNo, String channelTradeNo);
}
public interface OutboxRepository {
void insert(String eventId, String topic, String messageKey, String payload);
}
}预期结果:方法成功提交后,订单状态和一条 NEW 消息同时存在;任一数据库操作抛出异常时,两者都不会提交。
事务提交:订单状态=SUCCESS,消息状态=NEW
事务回滚:订单状态保持原值,消息记录不存在发布确认与重试
发布任务按批次查询 NEW 或到期可重试的消息,发送时携带唯一 event_id。只有消息代理返回发布确认后,才能把记录改为 SENT。发送异常、超时或否定确认时,应增加 retry_count,并计算下一次重试时间。
重试间隔可以采用指数退避,例如第 次失败后等待:
扫描任务要避免多个实例重复抢同一批数据。可以使用 SELECT ... FOR UPDATE SKIP LOCKED、分布式锁,或先原子地把记录从 NEW 改为 SENDING。即使仍发生重复发布,也必须依靠消费端幂等保证业务安全。
消费确认与幂等
消费者应关闭自动确认。收到消息后,先用 event_id 判断是否已经处理,再执行业务更新,最后提交本地事务并发送 ACK。若业务处理失败,应 NACK 并允许重投;若是不可恢复的格式错误,可进入死信队列。
常用幂等方式是在消费数据库建立 consumed_event(event_id) 唯一键,并让“插入消费记录”和“执行业务更新”处于同一事务。重复消息再次插入相同 event_id 时会触发唯一键冲突,消费者将其视为已处理并直接 ACK。
不要只依赖消息队列的去重功能,因为确认丢失、消费者重启和跨队列转发仍可能产生重复。真正决定业务是否重复执行的边界在消费者自己的数据库事务中。
运行与验收
先完成一次正常链路,确认消息从 NEW 变为 SENT,消费者成功 ACK,并产生一条消费幂等记录。随后分别模拟消息代理不可用、发布确认超时和消费者处理异常,检查消息是否按预期重试。
验收结果应满足:生产端失败不会丢消息;确认丢失可能造成重复发布,但不会重复修改业务;连续失败的消息最终进入 DEAD 或死信队列,并带有可检索的事件编号和失败原因。