消息队列 / 系统课时

顺序消息设计

顺序消息设计

Kafka 的顺序能力不是“整个 Topic 全局有序”,而是同一分区内按日志位置有序。本节从业务键、分区、消费状态机和失败阻塞四个方面,建立一套可落地的局部顺序方案,并明确什么时候应该暂停、重试或隔离异常消息。

学习目标

  • 用稳定业务键把同一业务实体的事件路由到同一分区
  • 理解单分区串行处理与状态机校验如何共同保证业务顺序
  • 处理失败消息阻塞,同时避免后续事件越过关键前置事件

顺序的边界在业务键和分区

Kafka 只保证单个分区内部的记录按写入日志的先后顺序排列。因此,设计顺序消息的第一步不是把 Topic 强行缩成一个分区,而是找出真正需要保持顺序的业务实体,例如订单、账户、设备或工单。

假设订单事件依次为 ORDER_CREATED、ORDER_PAID、ORDER_SHIPPED。生产者应始终使用 order_id 作为消息 Key。同一个 order_id 在分区数量不变、分区算法稳定的前提下会持续进入同一分区,而不同订单仍可分散到多个分区并行处理。

业务键到分区及顺序消费的关系

可以直接用 Kafka 自带生产者验证相同 Key 的发送方式。下面命令假设 Kafka 已启动,Topic order-events 已存在。

bash
kafka-console-producer.sh --bootstrap-server localhost:<PORT> --topic order-events --property parse.key=true --property key.separator=:

进入交互模式后依次输入:

text
order-1001:{"type":"ORDER_CREATED"}
order-1001:{"type":"ORDER_PAID"}
order-1001:{"type":"ORDER_SHIPPED"}

预期结果

text
三条记录以相同 key=order-1001 发送;在分区数量和分区策略不变时,它们会被路由到同一分区,并按该分区日志顺序供消费者读取。

实际 <PORT>、分区编号以及消息 offset 会随环境不同而变化。

消费端必须避免同一分区并发越序

消息已经在分区中排好顺序,并不代表业务处理一定按顺序完成。若消费者把同一分区的多条记录同时交给线程池,后到的轻量任务可能先提交数据库,形成“读取有序、完成乱序”。

需要严格顺序时,同一个 Partition 内应保持串行处理:处理完当前记录并确认业务结果后,再推进下一条记录。消费者组仍然可以通过多个 Partition 获得并行度,所以顺序范围越小,系统越容易同时获得正确性与吞吐量。

如果处理逻辑必须异步化,也应按业务键建立串行队列,确保同一个 Key 同时只有一个在途任务。不要只依赖线程池提交顺序,因为线程调度和外部接口耗时都可能改变实际完成顺序。

用状态机防止非法跳转

消息顺序控制解决的是“事件先后”,状态机解决的是“这个先后是否符合业务规则”。两者应该同时存在。例如订单当前状态为 CREATED 时,只允许 ORDER_PAID 把它推进到 PAID;如果直接收到 ORDER_SHIPPED,消费者不应无条件覆盖状态。

状态更新还应带上版本号或事件序号。消费者可以在数据库更新时附加条件,例如“当前版本必须等于上一版本”,从而把重复消费、历史消息重放和意外越序转换成可检测的冲突,而不是静默写错数据。

失败消息不能简单跳过

严格顺序场景最棘手的问题是:某条消息失败后,后续消息能不能继续?如果失败的是可独立忽略的通知事件,可以记录失败并继续;如果它改变核心状态,例如“支付成功”位于“订单发货”之前,就不能直接跳过。

处理这类失败通常有三种策略:短暂故障在当前分区原地有限重试;确定属于数据问题时暂停该业务键或分区并告警;超过可接受恢复时间后,把异常记录连同 Key、Topic、Partition、Offset、错误原因和原始载荷送入隔离流程,待人工修复后从正确位置补偿。

顺序消息失败后的处理决策

对核心状态流而言,“不中断吞吐”不是最高目标。真正需要保证的是失败事件恢复后,后续事件仍能依据正确的前置状态执行,因此要把阻塞范围控制在必要的业务键或分区,而不是为了继续消费而破坏状态顺序。

扩分区前检查顺序假设

以 Key 取模路由时,增加 Topic 分区数可能改变 Key 到分区的映射。新事件因此可能进入新分区,而旧事件仍留在原分区;两个分区被不同消费者并行处理后,同一业务实体的跨时间顺序就可能失效。

因此,强依赖 Key 顺序的 Topic 不应把在线扩分区当作无风险操作。更稳妥的方式是提前规划分区容量,或在迁移期间停止相关写入、建立新 Topic 并完成明确的切换边界。顺序设计的核心不是追求全局串行,而是先定义最小顺序域,再让业务键、分区路由、消费模型和状态约束都围绕这个顺序域保持一致。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

顺序消息设计

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通