消息队列 / 系统课时
编写消费组故障 Runbook
编写消费组故障 Runbook
Runbook 的目的不是罗列 Kafka 知识,而是在故障发生时让值班人员按固定顺序拿证据、止损、定位、回滚并验收。一个好 Runbook 应覆盖频繁 Rebalance、Lag 持续增长、成员掉线和重复处理等高频症状。
学习目标
- 把常见消费组故障整理成可执行排障路径
- 为每条路径定义证据、止损动作和回滚条件
- 用稳定状态、Lag 与吞吐指标完成恢复验收
Runbook 先写入口条件
入口条件应使用可观察现象,而不是猜测根因。例如:
- 10 分钟内 Rebalance 次数显著高于基线
- Lag 连续 15 分钟增长
- 成员数持续低于期望副本数
- 重复处理率或幂等冲突突然升高
这样值班人员可以从告警直接进入对应流程。
固定第一轮信息采集
bash
kafka-consumer-groups.sh --bootstrap-server <BOOTSTRAP_SERVERS> --group <GROUP_ID> --describe预期输出:
text
GROUP TOPIC PARTITION CURRENT-OFFSET LOG-END-OFFSET LAG CONSUMER-ID
<GROUP_ID> <VALUE> 0 <VALUE> <VALUE> <VALUE> <ID>随后记录当前时间、最近一次部署、自动扩缩容动作、消费者实例数和异常日志。动态值会因环境不同而变化。
如果怀疑 Rebalance 风暴,再补充:
bash
kafka-consumer-groups.sh --bootstrap-server <BOOTSTRAP_SERVERS> --group <GROUP_ID> --describe --state预期输出:
text
GROUP COORDINATOR ASSIGNMENT-STRATEGY STATE #MEMBERS
<GROUP_ID> <IP>:<PORT> <VALUE> Stable <VALUE>把止损与根因修复分开
止损动作的目标是先恢复消费,例如回滚刚发布的版本、暂停异常自动扩缩容、隔离故障节点或临时降低单批处理量。根因修复则可能涉及线程模型、超时参数、下游依赖、网络或 Broker。
Runbook 必须给止损动作写回滚条件。例如“只有确认新版本启动后持续触发 Poll 超时,才回滚到上一版本”,避免值班人员在没有证据时做高风险操作。
恢复验收必须量化
恢复后至少检查:消费组持续 Stable;成员数与期望一致;Lag 不再增长并开始下降;消费吞吐恢复到基线;没有新的重复处理或提交异常。
建议再观察一个冷却窗口,确认没有新的 Rebalance 风暴。只有当“状态稳定、积压趋势恢复、业务副作用受控”同时满足,故障才算真正关闭。
按自己的节奏,确认真正理解。