消息队列 / 系统课时
演练副本持续落后
演练副本持续落后
本课通过复制限流制造 follower 持续追不上 Leader 的场景,用 offsetLag、ISR 和写入速率确认积压形成,再解除限流并验证副本追平。重点是建立可复验的故障注入、观测、恢复和验收证据链。
学习目标
- 能在测试分区中安全制造副本持续落后
- 能结合
offsetLag、ISR 和生产速率判断落后是否仍在扩大 - 能解除限流并用连续观测完成追平验收
设计受控故障
选择一个至少有两个副本的测试分区,指定其中一个 follower 作为目标副本。实验只限制该 follower 的复制吞吐,避免同时叠加磁盘、网络或 CPU 故障,否则很难判断 lag 是由哪一项因素造成。

先确认目标副本当前在 ISR,并记录 offsetLag 基线。随后把该 follower 的复制上限压到明显低于测试写入速率的水平,再启动持续写入。下面把基线、故障注入、观测、恢复和验收串成一个主示例。
执行故障注入与观测
BOOTSTRAP=<HOST>:<PORT>
TOPIC=<TOPIC>
PARTITION=<PARTITION>
FOLLOWER_ID=<ID>
RATE=1048576
PRODUCER_CONFIG=<PATH>/producer.properties
PRODUCER_LOG=<PATH>/producer-perf.log
# 基线:目标 follower 应在 ISR,offsetLag 通常接近 0。
bin/kafka-topics.sh --bootstrap-server "$BOOTSTRAP" --describe --topic "$TOPIC" \
| grep "Partition: $PARTITION"
bin/kafka-log-dirs.sh --bootstrap-server "$BOOTSTRAP" --describe \
--broker-list "$FOLLOWER_ID" --topic-list "$TOPIC"
# 只把目标 follower 纳入复制限流,并把该 Broker 的 follower 配额限制为 1 MiB/s。
bin/kafka-configs.sh --bootstrap-server "$BOOTSTRAP" --alter \
--entity-type topics --entity-name "$TOPIC" \
--add-config "follower.replication.throttled.replicas=${PARTITION}:${FOLLOWER_ID}"
bin/kafka-configs.sh --bootstrap-server "$BOOTSTRAP" --alter \
--entity-type brokers --entity-name "$FOLLOWER_ID" \
--add-config "follower.replication.throttled.rate=${RATE}"
# 以约 10 MiB/s 的目标速率持续写入,使输入速率显著高于复制配额。
bin/kafka-producer-perf-test.sh \
--producer.config "$PRODUCER_CONFIG" \
--topic "$TOPIC" \
--record-size 1024 \
--num-records 2000000 \
--throughput 10000 >"$PRODUCER_LOG" 2>&1 &
PRODUCER_PID=$!
for i in 1 2 3 4; do
date
bin/kafka-log-dirs.sh --bootstrap-server "$BOOTSTRAP" --describe \
--broker-list "$FOLLOWER_ID" --topic-list "$TOPIC"
bin/kafka-topics.sh --bootstrap-server "$BOOTSTRAP" --describe --topic "$TOPIC" \
| grep "Partition: $PARTITION"
sleep 15
done预期结果
Topic: <TOPIC> Partition: <PARTITION> Leader: <LEADER_ID> Replicas: <LEADER_ID>,<FOLLOWER_ID> Isr: <LEADER_ID>,<FOLLOWER_ID>
... "partition":"<TOPIC>-<PARTITION>" ... "offsetLag":0 ...
Completed updating config for topic <TOPIC>.
Completed updating config for broker <FOLLOWER_ID>.
... "partition":"<TOPIC>-<PARTITION>" ... "offsetLag":<VALUE> ...
... "partition":"<TOPIC>-<PARTITION>" ... "offsetLag":<VALUE> ...后一次采样的 offsetLag 应明显大于前一次采样,表示 follower 的积压仍在扩大。若采样期间 ISR 从 <LEADER_ID>,<FOLLOWER_ID> 变成只剩 <LEADER_ID>,说明副本已经因长期未追上而被移出 ISR;但 ISR 暂时不变也不代表没有 lag,offsetLag 的连续增长才是更直接的证据。$PRODUCER_CONFIG 必须指向同一测试集群的有效生产者配置;实际输出格式、路径、PID 与吞吐统计会随 Kafka 版本和实验环境不同而变化。
如果 offsetLag 没有持续上升,先检查三件事:测试写入是否仍在运行、follower.replication.throttled.replicas 是否包含正确的 分区:BrokerID、以及 follower.replication.throttled.rate 是否真的小于当前复制需求。不要为了制造现象继续降低速率到影响其他测试 Topic。
解除限制并追平
观察到稳定增长的 lag 后,先停止额外写入压力,再删除 Topic 级 throttled replica 名单和 Broker 级 follower 配额。两项都要清理;只恢复速率或只删除名单,都可能留下与预期不一致的限流状态。
kill "$PRODUCER_PID" 2>/dev/null || true
wait "$PRODUCER_PID" 2>/dev/null || true
bin/kafka-configs.sh --bootstrap-server "$BOOTSTRAP" --alter \
--entity-type topics --entity-name "$TOPIC" \
--delete-config follower.replication.throttled.replicas
bin/kafka-configs.sh --bootstrap-server "$BOOTSTRAP" --alter \
--entity-type brokers --entity-name "$FOLLOWER_ID" \
--delete-config follower.replication.throttled.rate
bin/kafka-configs.sh --bootstrap-server "$BOOTSTRAP" --describe \
--entity-type topics --entity-name "$TOPIC"
bin/kafka-configs.sh --bootstrap-server "$BOOTSTRAP" --describe \
--entity-type brokers --entity-name "$FOLLOWER_ID"预期结果
Completed updating config for topic <TOPIC>.
Completed updating config for broker <FOLLOWER_ID>.
Dynamic configs for topic <TOPIC> are:
Dynamic configs for broker <ID> are:描述结果中应不再出现 follower.replication.throttled.replicas 和 follower.replication.throttled.rate。配置清理后,目标 follower 应开始以正常复制能力追赶 Leader。此时重点不是等待 Broker“恢复在线”,而是确认 offsetLag 从峰值持续下降;如果 lag 长时间不降,再回到网络、磁盘、Broker 请求负载和真实生产速率继续定位。
验收副本已经追平
for i in 1 2 3 4; do
date
bin/kafka-log-dirs.sh --bootstrap-server "$BOOTSTRAP" --describe \
--broker-list "$FOLLOWER_ID" --topic-list "$TOPIC"
bin/kafka-topics.sh --bootstrap-server "$BOOTSTRAP" --describe --topic "$TOPIC" \
| grep "Partition: $PARTITION"
sleep 15
done预期结果
... "partition":"<TOPIC>-<PARTITION>" ... "offsetLag":<VALUE> ...
... "partition":"<TOPIC>-<PARTITION>" ... "offsetLag":0 ...
Topic: <TOPIC> Partition: <PARTITION> Leader: <LEADER_ID> Replicas: <LEADER_ID>,<FOLLOWER_ID> Isr: <LEADER_ID>,<FOLLOWER_ID>连续采样中 offsetLag 下降到 0 或稳定接近 0,目标 follower 重新并持续位于 ISR,且两项复制限流配置都已删除,才算完成本次演练。这样得到的是“制造能力缺口→确认积压扩大→解除限流→确认 lag 收敛”的完整恢复证据链。