消息队列 / 系统课时

Topic 与 Partition 模型

Topic 与 Partition 模型

Kafka 用 Topic 对消息做逻辑分类,但真正承担写入、存储和并行消费的是 Partition。本课把这两层关系拆开:你会看到消息如何落入多个分区、分区内为什么能保持顺序,以及顺序保证为什么不能自然扩展到整个 Topic。

学习目标

  • 区分 Topic 的逻辑命名空间与 Partition 的物理并行单元
  • 理解分区内有序、跨分区无全局顺序的边界
  • 能创建多分区 Topic,并通过描述命令验证分区布局

Topic 是逻辑入口,Partition 才是日志

Topic 可以理解为一类消息的逻辑名称,例如 orders、payments 或 user-events。生产者向 Topic 发送消息时,Kafka 会把每条消息路由到其中一个 Partition;每个 Partition 本质上是一条只追加的日志,并拥有独立的偏移量序列。

同一个 Topic 可以有一个或多个 Partition。分区越多,生产和消费越容易并行,但也意味着消息被拆散到多条日志中。消费者读取时,真正处理的是具体分区,而不是一条全局统一的 Topic 日志。

Topic、Partition 与偏移量的关系

分区决定并行度

Partition 是 Kafka 的并行基本单位。一个 Partition 在同一个消费者组内的同一时刻最多只会分配给一个消费者,因此某个 Topic 有 6 个 Partition 时,一个消费者组最多可以让 6 个消费者同时获得有效分工;再增加消费者只会出现空闲成员。

分区数也影响生产端并行写入和 Broker 间的数据分布。设计时不能只追求“越多越快”:过多分区会增加元数据、文件句柄、Leader 选举和恢复成本。通常先依据目标吞吐量、消费者并行度和可接受运维成本确定规模,再通过压测验证。

顺序保证只存在于分区内部

Kafka 为每个 Partition 单独维护递增 offset。消息一旦按顺序写入同一 Partition,消费者就能按该分区的日志顺序读取,因此“同一业务实体必须有序”通常要转化为“相关消息必须进入同一 Partition”。

跨 Partition 没有可比较的全局 offset。例如 Partition 0 的 offset 100 与 Partition 1 的 offset 80 不能表示谁在整个 Topic 中更早。即使两条消息由同一个生产者先后发送,只要它们被路由到不同分区,消费者也不应依赖全局先后关系。

创建并验证多分区 Topic

下面用 Kafka 自带命令创建一个 3 分区 Topic。示例假设 Broker 已运行在 localhost:9092。

bash
kafka-topics.sh --bootstrap-server localhost:9092 --create --topic orders --partitions 3 --replication-factor 1
kafka-topics.sh --bootstrap-server localhost:9092 --describe --topic orders

预期输出如下,Leader 与副本编号会随实际集群不同:

text
Created topic orders.
Topic: orders    PartitionCount: 3    ReplicationFactor: 1
Topic: orders    Partition: 0    Leader: <ID>    Replicas: <ID>    Isr: <ID>
Topic: orders    Partition: 1    Leader: <ID>    Replicas: <ID>    Isr: <ID>
Topic: orders    Partition: 2    Leader: <ID>    Replicas: <ID>    Isr: <ID>

看到 PartitionCount: 3,说明 Topic 已被拆成三条独立日志。后续生产者写入的每条消息只会进入其中一个分区,并在该分区内获得唯一递增的 offset。

设计时先问顺序,再问并行

如果业务只要求单个用户、订单或设备内部有序,可以用对应标识作为 Key,把相关消息稳定路由到同一 Partition,同时保留不同实体之间的并行能力。如果业务真的要求所有消息全局有序,最直接的方式是只使用一个 Partition,但吞吐与消费并行度也会被限制在单分区范围内。

因此,Topic 解决“消息属于哪一类”,Partition 解决“这一类消息如何拆分、并行和排序”。理解这层边界,是后续设计 Key、消费者组和副本布局的基础。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

Topic 与 Partition 模型

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通