消息队列 / 系统课时

使用 consumer-groups 工具定位现场

使用 consumer-groups 工具定位现场

消费不稳或频繁 Rebalance 时,第一步不是立刻重启实例,而是把消费组在故障时刻的状态固定下来。kafka-consumer-groups.sh 可以同时给出组状态、活跃成员、分区归属、已提交 Offset、日志末端 Offset 与 Lag,为后续判断“谁在抖、哪一片积压”留下可复验证据。

学习目标

  • 使用 kafka-consumer-groups.sh 固定消费组的 Offset、Lag、成员与状态快照。
  • 从分区级与成员级输出中识别积压集中、成员缺失和分配异常。
  • 建立可重复执行的现场取证顺序,避免只保存一张无法复核的终端截图。

先固定同一时刻的三类证据

排查时至少保存三份视角。默认 --describe --group 展示每个分区的 CURRENT-OFFSET、LOG-END-OFFSET 和 LAG;--state 展示组级状态与成员数;--members --verbose 展示活跃成员以及它们拿到的分区。

不要隔十几分钟手工敲三条命令再拼结论。组成员和 Lag 都可能快速变化,最好用同一脚本连续采集,并把时间戳写进文件名。

bash
BOOTSTRAP="kafka-1:9092"
GROUP="payment-worker"
KAFKA_HOME="/opt/kafka"
TS="$(date -u +%Y%m%dT%H%M%SZ)"
OUT="consumer-group-${GROUP}-${TS}.txt"

{
  echo "=== offsets ==="
  "${KAFKA_HOME}/bin/kafka-consumer-groups.sh" \
    --bootstrap-server "${BOOTSTRAP}" \
    --describe \
    --group "${GROUP}"

  echo "=== state ==="
  "${KAFKA_HOME}/bin/kafka-consumer-groups.sh" \
    --bootstrap-server "${BOOTSTRAP}" \
    --describe \
    --group "${GROUP}" \
    --state

  echo "=== members ==="
  "${KAFKA_HOME}/bin/kafka-consumer-groups.sh" \
    --bootstrap-server "${BOOTSTRAP}" \
    --describe \
    --group "${GROUP}" \
    --members \
    --verbose
} | tee "${OUT}"

echo "saved=${OUT}"

预期输出:实际 Topic、Offset、Consumer ID、主机、分配策略和文件时间戳都会不同,但应能看到以下三类结构。

text
=== offsets ===
TOPIC        PARTITION  CURRENT-OFFSET  LOG-END-OFFSET  LAG      CONSUMER-ID  HOST       CLIENT-ID
payments     0          <OFFSET>        <OFFSET>        <LAG>    <ID>         <HOST>     <CLIENT>
payments     1          <OFFSET>        <OFFSET>        <LAG>    <ID>         <HOST>     <CLIENT>

=== state ===
COORDINATOR (ID)        ASSIGNMENT-STRATEGY  STATE    #MEMBERS
<HOST>:<PORT> (<ID>)    <STRATEGY>           Stable   <VALUE>

=== members ===
CONSUMER-ID  HOST    CLIENT-ID  #PARTITIONS  ASSIGNMENT
<ID>         <HOST>  <CLIENT>   <VALUE>      <PARTITIONS>

saved=consumer-group-payment-worker-<TIME>.txt

如果集群启用了认证或 TLS,还要给每次命令补上相同的 --command-config <PATH>,让脚本读取客户端安全配置。不要为了临时排障把密码直接写进命令行历史。

先看 Lag 分布,不只看总量

CURRENT-OFFSET 是消费组已经提交的位置,LOG-END-OFFSET 是当前日志末端位置,两者差值形成分区级 Lag。总 Lag 很大只能说明“落后”,真正定位还要看它是否集中在少数分区。

如果只有一个分区 Lag 持续拉大,而同 Topic 其他分区基本追平,应优先检查该分区当前 owner、消息处理成本、Key 倾斜和下游热点。若所有分区同时上涨,则更像整体处理能力下降、下游变慢、消费者批量失败或实例数不足。

还要把 Lag 和 CONSUMER-ID 对齐。某个成员持有的多个分区都异常,可以继续查该实例的 GC、CPU、网络、下游错误和 Poll 间隔;异常只跟某个分区走,则更像数据特征或分区热点,而不是单个进程故障。

再看组状态与成员分配

--state 适合回答“这个组现在是否稳定、成员数是否符合预期”。一次看到非 Stable 状态并不能证明存在 Rebalance 风暴,因为你可能恰好采到状态切换瞬间;真正有价值的是连续快照中状态频繁变化,同时成员或分区归属也反复改变。

--members --verbose 用来回答“谁在组里、每个成员拿了哪些分区”。如果部署期望有 6 个实例,但这里只有 4 个成员,先查缺失实例为何没有成功入组。若成员数正常却出现某个成员 #PARTITIONS 为 0,则要结合分区总数和分配策略判断,它不一定是故障。

把快照变成可复验证据

一次现场快照至少应记录采集时间、目标集群、Group ID、命令原文和输出文件。发生间歇性抖动时,可以按固定间隔重复执行同一脚本,再比较成员数、状态、分区 owner 与 Lag 是否同步变化。

不要在取证阶段直接使用 --reset-offsets --execute、删除 Group 或重启全部消费者。这些动作会改变现场,让“原本为什么不稳”更难复盘。先保存只读证据,再把消费者日志、应用指标和 Broker 侧事件按同一时间窗口对齐,才能判断是成员失联、Poll 超时、部署滚动还是下游处理压力导致的 Rebalance 与积压。

如果命令报授权失败,也要把错误原样保存。对于使用新 Consumer Group Protocol 的消费组,管理端查看组信息还可能需要对该组所订阅 Topic 具备相应的 Describe 权限;这类权限缺口本身就是现场证据,不应被误判成“消费组不存在”或“工具失效”。

按自己的节奏,确认真正理解。

目录与阅读设置

记录一个想法

使用 consumer-groups 工具定位现场

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通