消息队列 / 系统课时
设计 Topic 与事件模式
设计 Topic 与事件模式
事件流程确定后,下一步是把业务边界映射成可运行的 Kafka 设计。本节给出 Topic、分区键、副本、保留策略和事件版本的最小方案,并通过创建命令与评审清单验证它是否同时满足有序性、可用性和演进要求。
学习目标
- 为订单平台划分 Topic,并选择稳定的分区键。
- 根据可靠性与回放需求设置分区、副本和保留策略。
- 定义可演进的事件信封与版本兼容规则。
先确定 Topic 边界
Topic 应围绕事件所有权与消费关系划分,而不是“一个事件一个 Topic”。一个可评审的起点如下,保留时间只是示例值,最终要结合回放窗口、流量和存储预算调整。
| Topic | 主要生产者 | 主要消费者 | Key | 建议策略 |
|---|---|---|---|---|
commerce.order.events |
订单服务 | 库存、通知、审计 | orderId |
6 分区、3 副本、保留 7 天 |
commerce.inventory.events |
库存服务 | 订单、支付 | orderId |
6 分区、3 副本、保留 7 天 |
commerce.payment.events |
支付服务 | 订单、通知 | orderId |
6 分区、3 副本、保留 30 天 |
commerce.notification.commands |
订单服务 | 通知服务 | orderId |
3 分区、3 副本、保留 3 天 |
事件 Topic 保存已经发生的事实,通知 Topic 则更接近待执行命令。不要把“最新状态快照”和“历史事件流”混在同一个 Topic;前者更适合压缩策略,后者通常使用按时间删除的保留策略。
让 Key 决定有序性
Kafka 只保证同一分区内的消息顺序。把 orderId 作为 Key,可以让同一 Topic 中同一订单的事件稳定进入同一分区,避免 OrderCreated 与 OrderCancelled 在该 Topic 内被并行打乱。
这个保证不会跨 Topic 延伸。订单事件、库存事件和支付事件之间的先后仍由业务状态机和事件前置条件约束,消费者不能把“另一个 Topic 里先到达”当成全局顺序。若某个 Key 流量极端集中,还要检查热点分区,而不是盲目增加总分区数。
创建 Topic 并验证
下面以订单事件 Topic 为例。命令假设集群至少有 3 个 Broker;<PORT> 是动态端口占位符,实际值可能不同。min.insync.replicas=2 需要与生产者 acks=all 配合,才能在副本异常时拒绝不满足最小同步副本数的写入。
kafka-topics.sh --bootstrap-server localhost:<PORT> --create \
--topic commerce.order.events \
--partitions 6 \
--replication-factor 3 \
--config retention.ms=604800000 \
--config min.insync.replicas=2
kafka-topics.sh --bootstrap-server localhost:<PORT> --list | grep '^commerce.order.events$'预期输出
Created topic commerce.order.events.
commerce.order.events如果开发环境只有单 Broker,应把副本因子临时降为 1,但这只解决本地启动问题,不能据此评估生产容灾能力。生产环境仍应按 Broker 数量、故障域和可接受的数据丢失风险重新评审副本参数。
固化事件模式和版本
Topic 名不要承担事件版本管理的全部责任。更稳妥的做法是在统一事件信封中保留 eventType 与 schemaVersion,让消费者能按事件类型解析,并明确兼容策略。下面示例中的 <ID> 与 <TIME> 均为动态值。
{
"eventId": "<ID>",
"eventType": "OrderCreated",
"schemaVersion": 1,
"occurredAt": "<TIME>",
"aggregateId": "<ID>",
"payload": {
"customerId": "<ID>",
"totalAmount": 199.00,
"currency": "CNY"
}
}该 JSON 是事件契约示例,不需要控制台输出。新增可选字段且旧消费者可以忽略时,可保持当前主版本;删除字段、改变字段含义或修改类型等破坏性变更,应提升 schemaVersion,并在迁移期让消费者同时兼容新旧版本。
用清单完成设计评审
评审时不要只确认 Topic 名称。至少逐项确认:谁能生产、谁能消费、Key 是否满足局部顺序、分区数是否支撑吞吐、3 副本是否有足够 Broker、保留时间是否覆盖故障回放窗口,以及事件模式是否有明确的兼容规则。
最后再检查可靠性组合:关键 Topic 使用多副本,生产者启用 acks=all,消费者按 eventId 幂等,跨数据库与 Kafka 的写入使用 Outbox 或等价方案。Topic 设计只有与生产和消费语义一起评审,才是完整的消息设计,而不是一张命名表。