消息队列 / 系统课时

演练 Broker 故障与网络抖动

演练 Broker 故障与网络抖动

本篇通过可控故障验证 Kafka 生产者在 Broker 不可用、副本不足和网络抖动下的确认、重试与超时行为,重点记录故障前后指标、日志和最终发送结果,确认系统能否按边界降级并恢复。

学习目标

  • 能设计 Broker 不可用、副本不足和网络抖动三类故障场景
  • 能根据 acks、重试和交付超时解释不同发送结果
  • 能建立故障注入、观察、恢复和验收的最小演练闭环

先定义演练的成功条件

一次可靠性演练至少需要明确四个时间点:故障注入、错误开始出现、故障解除、发送恢复。演练前记录 Producer 的发送成功率、请求延迟、重试和 buffer wait,并记录目标 topic 的分区与副本状态。

验收标准不要只写“程序没有崩溃”。更有价值的标准是:可重试故障能够在交付超时前恢复并成功发送;不可满足确认条件时客户端能够明确失败;故障解除后重试流量能够下降,正常发送恢复且没有形成持续积压。

Kafka 生产者故障注入与恢复验收时序

演练 Broker 不可用

最小场景可以针对测试环境中的一个 Broker 注入不可用状态,同时让 Producer 持续发送。注入后观察客户端是否进入重试,以及最终结果是恢复成功还是因超过交付时间而失败。

主示例使用 Kafka Java 客户端创建一个完整的 Producer,并向测试环境中的 orders topic 发送一条消息。故障注入本身由测试环境完成,不在应用代码中模拟。运行前只需将 <HOST>、<PORT> 替换为可访问的 Kafka 地址,并确保项目已引入 Kafka Clients 依赖。

java
import java.util.Properties;

import org.apache.kafka.clients.producer.KafkaProducer;
import org.apache.kafka.clients.producer.ProducerConfig;
import org.apache.kafka.clients.producer.ProducerRecord;
import org.apache.kafka.common.serialization.StringSerializer;

public class ProducerFailureDrill {
    public static void main(String[] args) throws Exception {
        Properties props = new Properties();
        props.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, "<HOST>:<PORT>");
        props.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG, StringSerializer.class.getName());
        props.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG, StringSerializer.class.getName());
        props.put(ProducerConfig.ACKS_CONFIG, "all");
        props.put(ProducerConfig.RETRIES_CONFIG, 20);
        props.put(ProducerConfig.DELIVERY_TIMEOUT_MS_CONFIG, 60000);
        props.put(ProducerConfig.REQUEST_TIMEOUT_MS_CONFIG, 10000);

        // Producer 负责按 delivery.timeout.ms 的边界重试,故障由测试环境注入。
        try (KafkaProducer<String, String> producer = new KafkaProducer<>(props)) {
            ProducerRecord<String, String> record =
                    new ProducerRecord<>("orders", "order-<ID>", "created");

            producer.send(record, (metadata, exception) -> {
                if (exception != null) {
                    System.err.printf("send failed type=%s message=%s%n",
                            exception.getClass().getSimpleName(), exception.getMessage());
                    return;
                }
                System.out.printf("send ok partition=%d offset=%d%n",
                        metadata.partition(), metadata.offset());
            });
            producer.flush();
        }
    }
}

预期结果

text
恢复成功:send ok partition=<PARTITION> offset=<OFFSET>
持续故障:send failed type=<EXCEPTION_TYPE> message=<ERROR_MESSAGE>

其中 <HOST>、<PORT>、<ID>、<PARTITION>、<OFFSET> 等实际值会随测试环境变化。这里最关键的关系是:request.timeout.ms 描述一次请求等待响应的边界,而 delivery.timeout.ms 约束一条消息从发送开始到最终交付失败的总时间。调大单次请求超时并不等于允许无限重试。

演练副本不足与确认失败

副本不足时,故障重点从“Broker 是否在线”转向“当前分区是否仍满足确认条件”。当生产者使用 acks=all 时,客户端等待的是由 ISR 条件决定的确认;如果副本状态无法满足要求,发送可能进入等待、重试或最终失败。

演练时记录目标 partition 的 leader、ISR 和副本数量,并在同一时间窗口观察 Producer 日志。不要把“没有立刻报错”理解为“消息已经可靠写入”,因为确认条件可能仍未满足。

演练网络抖动并观察重试边界

网络抖动适合用短时阻断、丢包或增加延迟来模拟。演练目标是观察“偶发请求失败”和“持续无法交付”之间的差异。前者通常能够通过重试恢复,后者最终会触及交付超时并暴露真实失败。

故障注入应由测试环境的网络工具或基础设施完成,应用侧重点是持续记录异常类型、重试行为和最终发送结果。不要把短暂网络异常与永久不可达混为一谈,应结合异常持续时间和 delivery.timeout.ms 判断最终结果。

故障解除后的验收

恢复阶段至少检查三件事。第一,Producer 错误率和重试率应回落;第二,请求延迟和 buffer wait 不应持续异常;第三,业务侧应确认目标 topic 没有形成持续增长的生产者积压或消费者 lag。

最终演练报告应记录故障类型、注入方法、开始时间、解除时间、最大延迟、最高错误率、最终恢复时间和未恢复风险。真正可靠的生产者不是“永远不报错”,而是在 Broker 或网络暂时异常时能够按边界重试,在无法可靠交付时明确失败,并在故障解除后恢复正常吞吐。

按自己的节奏,确认真正理解。

目录与阅读设置

记录一个想法

演练 Broker 故障与网络抖动

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通