消息队列 / 系统课时

搭建 Kafka 故障实验环境

搭建 Kafka 故障实验环境

本课搭建一个可重复的 Kafka 4.3.1 三 Broker KRaft 实验集群,并创建六分区、三副本 Topic,持续写入和读取消息。完成后即可停止任一 Broker,观察 Leader、副本与 ISR 的变化。

学习目标

  • 能在本机初始化并启动三个独立的 Kafka Broker
  • 能创建六分区、三副本的实验 Topic,并检查副本与 ISR
  • 能建立稳定的生产与消费流量,形成后续故障注入基线

实验拓扑与前置检查

本实验在同一台机器上运行三个 Kafka 进程,三个节点都使用 process.roles=broker,controller。客户端端口依次为 9092、9094、9096,Controller 端口依次为 9093、9095、9097。它适合验证 Broker 进程故障下的副本与 ISR 行为,但不能模拟真正的主机、机架或网络故障域。

Kafka 4.3 的 Java 兼容矩阵列出 Java 17、21、25 为 fully supported;Java 11 只支持客户端、Streams 等部分模块。因此本 Broker 实验应使用 Java 17、21 或 25,而不是把环境要求笼统写成“Java 17+”。将 Kafka 4.3.1 解压目录记为 <PATH>,执行前确认上述六个端口未被占用;若此前运行过本实验,应先停止旧 Broker 进程。

三节点 KRaft 故障实验拓扑

初始化并启动三 Broker 集群

下面保留一个完整初始化脚本:先生成唯一的 Cluster ID,再分别写入三个配置文件,最后用同一 Cluster ID 格式化三个独立日志目录。printf 只写 lab-config/cluster-id,三个 cat > ... <<'EOF' 分别创建配置文件,不能把配置文件路径拼进 printf 的重定向目标。

脚本会清理 <PATH>/lab-config 与 <PATH>/lab-logs,确保每次从干净状态初始化;如需保留上一轮日志应先备份。

bash
cd <PATH>
rm -rf lab-config lab-logs
mkdir -p lab-config lab-logs/{broker1,broker2,broker3}

KAFKA_CLUSTER_ID="$(bin/kafka-storage.sh random-uuid)"
printf '%s\n' "$KAFKA_CLUSTER_ID" > lab-config/cluster-id

cat > lab-config/broker1.properties <<'EOF'
process.roles=broker,controller
node.id=1
listeners=PLAINTEXT://localhost:9092,CONTROLLER://localhost:9093
advertised.listeners=PLAINTEXT://localhost:9092
inter.broker.listener.name=PLAINTEXT
controller.listener.names=CONTROLLER
controller.quorum.voters=1@localhost:9093,2@localhost:9095,3@localhost:9097
listener.security.protocol.map=PLAINTEXT:PLAINTEXT,CONTROLLER:PLAINTEXT
log.dirs=lab-logs/broker1
EOF

cat > lab-config/broker2.properties <<'EOF'
process.roles=broker,controller
node.id=2
listeners=PLAINTEXT://localhost:9094,CONTROLLER://localhost:9095
advertised.listeners=PLAINTEXT://localhost:9094
inter.broker.listener.name=PLAINTEXT
controller.listener.names=CONTROLLER
controller.quorum.voters=1@localhost:9093,2@localhost:9095,3@localhost:9097
listener.security.protocol.map=PLAINTEXT:PLAINTEXT,CONTROLLER:PLAINTEXT
log.dirs=lab-logs/broker2
EOF

cat > lab-config/broker3.properties <<'EOF'
process.roles=broker,controller
node.id=3
listeners=PLAINTEXT://localhost:9096,CONTROLLER://localhost:9097
advertised.listeners=PLAINTEXT://localhost:9096
inter.broker.listener.name=PLAINTEXT
controller.listener.names=CONTROLLER
controller.quorum.voters=1@localhost:9093,2@localhost:9095,3@localhost:9097
listener.security.protocol.map=PLAINTEXT:PLAINTEXT,CONTROLLER:PLAINTEXT
log.dirs=lab-logs/broker3
EOF

for config in lab-config/broker{1,2,3}.properties; do
  bin/kafka-storage.sh format -t "$KAFKA_CLUSTER_ID" -c "$config" >/dev/null
done

nohup bin/kafka-server-start.sh lab-config/broker1.properties > lab-config/broker1.log 2>&1 &
nohup bin/kafka-server-start.sh lab-config/broker2.properties > lab-config/broker2.log 2>&1 &
nohup bin/kafka-server-start.sh lab-config/broker3.properties > lab-config/broker3.log 2>&1 &

ready=0
for _ in $(seq 1 30); do
  ok=1
  for port in 9092 9094 9096; do
    bin/kafka-broker-api-versions.sh --bootstrap-server "localhost:$port" >/dev/null 2>&1 || ok=0
  done
  if [ "$ok" -eq 1 ]; then
    ready=1
    break
  fi
  sleep 1
done

if [ "$ready" -ne 1 ]; then
  echo "cluster-not-ready" >&2
  exit 1
fi

echo "cluster-ready"

预期结果

text
cluster-ready

如果得到 cluster-not-ready,先查看 lab-config/broker1.log、broker2.log、broker3.log,重点排查端口占用、三个 node.id 是否唯一、controller.quorum.voters 的端口是否与各节点 CONTROLLER listener 一一对应,以及三个节点是否使用了同一个 Cluster ID。

创建 Topic 并建立流量

集群就绪后创建 failure-lab。六个分区便于观察 Leader 分布,三副本保证每个分区在健康状态下有三个 Replica。随后写入 30 条事件并从新消费组读取 30 条消息,作为故障前基线。

bash
bin/kafka-topics.sh --create \
  --bootstrap-server localhost:9092,localhost:9094,localhost:9096 \
  --topic failure-lab \
  --partitions 6 \
  --replication-factor 3

bin/kafka-topics.sh --describe \
  --bootstrap-server localhost:9092,localhost:9094,localhost:9096 \
  --topic failure-lab

printf 'event-%s\n' $(seq 1 30) | bin/kafka-console-producer.sh \
  --bootstrap-server localhost:9092,localhost:9094,localhost:9096 \
  --topic failure-lab

bin/kafka-console-consumer.sh \
  --bootstrap-server localhost:9092,localhost:9094,localhost:9096 \
  --topic failure-lab \
  --group failure-lab-consumer \
  --from-beginning \
  --max-messages 30

预期结果

text
Created topic failure-lab.
Topic: failure-lab  ... PartitionCount: 6  ReplicationFactor: 3 ...
event-<ID>
...

--describe 应显示 6 个分区,每个分区都有 3 个 Replicas,健康状态下 ISR 也应包含 3 个 Broker。消费者应读到 30 条 event-<ID> 消息;跨分区的打印顺序不保证与编号严格一致。达到这个状态后,三 Broker、三副本、六分区和真实消息流量都已建立,可直接进入后续 Broker 停止与 ISR 变化实验。

按自己的节奏,确认真正理解。

目录与阅读设置

记录一个想法

搭建 Kafka 故障实验环境

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通