消息队列 / 系统课时

建立故障处置手册

建立故障处置手册

本课把 Kafka 分区与副本故障整理成一份现场可直接执行的处置手册:先确认告警和影响范围,再固定证据、划定风险等级,随后按操作门禁恢复服务,最后完成数据与业务验收并沉淀复盘项。

学习目标

  • 能把 Kafka 故障处置写成按顺序执行、按条件分支的操作流程。
  • 能定义证据、风险分级和危险操作门禁,避免值班人员凭经验乱改配置。
  • 能把恢复验收与复盘结果写成可以长期复用的治理标准。

手册的最小结构

一份可执行手册至少要覆盖六段:告警确认、证据采集、风险分级、操作门禁、恢复验收、复盘。每一段都必须写清输入、判断条件和下一步动作,而不是只列出命令名称。

例如“分区不可用”不能直接写成“重启 Broker”。更合理的规则是先确认受影响分区、Leader、ISR 和副本集合,再判断是否仍有健康副本;只有在风险可控时才进入恢复动作。

Kafka 故障处置手册从告警到复盘的决策流程

告警与证据采集

告警阶段先回答“哪里坏了、影响多大、是不是正在扩大”。最小证据集包括目标 Topic 和 Partition、Leader、Replicas、ISR、相关 Broker 状态,以及生产端和消费端的异常时间窗口。

现场可以先用 Kafka Topic 描述信息建立基线:

bash
bin/kafka-topics.sh --bootstrap-server <BOOTSTRAP> --describe --topic <TOPIC>

预期输出

text
Topic: <TOPIC>  PartitionCount: <N>  ReplicationFactor: <N>
Topic: <TOPIC>  Partition: <ID>  Leader: <LEADER-ID>  Replicas: <BROKER-LIST>  Isr: <ISR-LIST>

然后补充消费者状态,确认故障究竟表现为消费停滞、积压增长还是只有部分分区受影响:

bash
bin/kafka-consumer-groups.sh --bootstrap-server <BOOTSTRAP> --describe --group <GROUP>

预期输出

text
GROUP  TOPIC  PARTITION  CURRENT-OFFSET  LOG-END-OFFSET  LAG
<GROUP>  <TOPIC>  <ID>  <OFFSET>  <OFFSET>  <LAG>

实际现场还应保存 Broker 日志、控制器相关事件和业务错误日志,并统一记录 <TIME>,这样后续才能把 Kafka 状态变化与业务症状对齐。

风险分级与操作门禁

风险分级的目的不是给事故贴标签,而是决定“现在允许做什么”。可以采用三级判断:单分区局部不可用、多个分区或多个 Broker 同时受影响、存在潜在数据丢失或副本不一致风险。

低风险场景可以优先恢复已知故障的 Broker;中风险场景必须先评估剩余副本和集群容量,避免恢复动作造成级联压力;高风险场景禁止直接执行可能丢数据或改变副本语义的强制操作,应先保护现场并升级。

恢复验收与关闭条件

恢复动作完成后,按照“Kafka 状态 → 客户端 → 业务数据”的顺序验收。Kafka 层确认目标分区重新存在有效 Leader,ISR 状态回到预期范围;客户端层确认生产和消费错误停止;业务层确认关键数据没有遗漏或异常重复。

恢复验收不要只看进程是否存活。一个 Broker 进程恢复,并不代表目标分区已经完成选主,也不代表 ISR 已恢复,更不代表积压已经消化。因此每一层都应有明确的关闭条件。

建议把关键条件直接写入手册,例如:目标分区可服务、关键生产错误恢复正常、消费者 Lag 开始按预期下降、业务抽样核对通过。任一条件未满足,事故状态都不应标记为“完全恢复”。

复盘与持续更新

复盘要回答三个问题:为什么故障会发生、为什么现有告警没有更早阻止影响、为什么现场人员需要做某个高风险动作。不要把复盘写成“重启后恢复”这种结果描述。

每次事故至少沉淀一项可执行改进,例如增加分区不可用告警、补充副本健康检查、完善 Broker 下线门禁、增加业务数据验收脚本,或在手册中补充新的分支条件。

手册最终应当让值班人员在高压环境下仍能沿着固定顺序工作:先确认事实,再控制风险,随后恢复可用性,最后证明数据和业务都正常。能被照着执行并能在事故后持续更新,才是一份真正有效的 Kafka 故障治理手册。

按自己的节奏,确认真正理解。

目录与阅读设置

记录一个想法

建立故障处置手册

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通