消息队列 / 系统课时

编写消费组故障 Runbook

编写消费组故障 Runbook

Runbook 的目的不是罗列 Kafka 知识,而是在故障发生时让值班人员按固定顺序拿证据、止损、定位、回滚并验收。一个好 Runbook 应覆盖频繁 Rebalance、Lag 持续增长、成员掉线和重复处理等高频症状。

学习目标

  • 把常见消费组故障整理成可执行排障路径
  • 为每条路径定义证据、止损动作和回滚条件
  • 用稳定状态、Lag 与吞吐指标完成恢复验收

Runbook 先写入口条件

入口条件应使用可观察现象,而不是猜测根因。例如:

  • 10 分钟内 Rebalance 次数显著高于基线
  • Lag 连续 15 分钟增长
  • 成员数持续低于期望副本数
  • 重复处理率或幂等冲突突然升高

这样值班人员可以从告警直接进入对应流程。

固定第一轮信息采集

bash
kafka-consumer-groups.sh   --bootstrap-server <BOOTSTRAP_SERVERS>   --group <GROUP_ID>   --describe

预期输出:

text
GROUP      TOPIC      PARTITION  CURRENT-OFFSET  LOG-END-OFFSET  LAG  CONSUMER-ID
<GROUP_ID> <VALUE>    0          <VALUE>         <VALUE>         <VALUE> <ID>

随后记录当前时间、最近一次部署、自动扩缩容动作、消费者实例数和异常日志。动态值会因环境不同而变化。

如果怀疑 Rebalance 风暴,再补充:

bash
kafka-consumer-groups.sh   --bootstrap-server <BOOTSTRAP_SERVERS>   --group <GROUP_ID>   --describe --state

预期输出:

text
GROUP      COORDINATOR  ASSIGNMENT-STRATEGY  STATE   #MEMBERS
<GROUP_ID> <IP>:<PORT>  <VALUE>              Stable  <VALUE>

把止损与根因修复分开

止损动作的目标是先恢复消费,例如回滚刚发布的版本、暂停异常自动扩缩容、隔离故障节点或临时降低单批处理量。根因修复则可能涉及线程模型、超时参数、下游依赖、网络或 Broker。

Runbook 必须给止损动作写回滚条件。例如“只有确认新版本启动后持续触发 Poll 超时,才回滚到上一版本”,避免值班人员在没有证据时做高风险操作。

恢复验收必须量化

恢复后至少检查:消费组持续 Stable;成员数与期望一致;Lag 不再增长并开始下降;消费吞吐恢复到基线;没有新的重复处理或提交异常。

建议再观察一个冷却窗口,确认没有新的 Rebalance 风暴。只有当“状态稳定、积压趋势恢复、业务副作用受控”同时满足,故障才算真正关闭。

按自己的节奏,确认真正理解。

目录与阅读设置

记录一个想法

编写消费组故障 Runbook

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通