消息队列 / 系统课时

监控体系与关键指标

监控体系与关键指标

Kafka 监控的目标不是“把指标都采上来”,而是能从异常现象快速落到故障层级。本课建立 Broker、Controller、Topic/Partition、Producer、Consumer 与 JVM 的分层视图,并给出可直接验证采集链路的方法。

学习目标

  • 能按服务端、客户端与运行时层级组织 Kafka 监控指标。
  • 能从吞吐、错误、复制健康和资源饱和度组合判断异常。
  • 能验证指标端点是否可采集,并避免只看单一指标下结论。

先按故障链路分层

一次消息链路会同时经过生产者、Broker、分区副本、消费者和 JVM。真正有效的监控应保留这些层级之间的关联:先判断集群是否健康,再判断某个 Topic 或 Partition 是否异常,最后再下钻到具体客户端或 JVM。

Kafka 分层监控体系与故障下钻关系

各层该看什么

层级 优先指标 主要回答的问题
Broker 请求速率、请求延迟、网络与磁盘吞吐、请求队列 Broker 是否过载或 I/O 受限
Controller 活跃 Controller、离线分区、Controller 事件处理 元数据与领导者选举是否异常
Topic/Partition Bytes/Records、ISR、欠副本、分区大小与流量倾斜 故障是否集中在某个主题或分区
Producer 发送速率、错误率、重试率、请求延迟 生产端是否在超时、重试或限流
Consumer 消费速率、Lag、提交、Rebalance 消费能力是否追不上写入
JVM/OS Heap、GC 暂停、CPU、线程、磁盘空间 进程是否被运行时或主机资源拖慢

对 Broker 而言,复制健康通常比单纯 CPU 更接近业务风险。出现 Offline Partition 应立即处理;Under Replicated Partition 持续升高时,需要继续检查 Broker 存活、磁盘、网络和 ISR 变化,而不是只给 CPU 扩容。

用组合信号而不是单点阈值

一个可靠告警至少同时考虑“异常程度”和“持续时间”。例如请求延迟瞬时抖高但吞吐、错误率和队列都正常,未必需要告警;如果延迟持续升高,同时请求队列增加、磁盘等待变高,就更像服务端饱和。

Controller 层应关注“是否只有一个活跃控制器”和“是否出现离线分区”;Consumer 层则要把 Lag 与消费速率一起看。Lag 很大但持续下降,说明系统正在恢复;Lag 不大却持续上升,反而更值得提前处理。

验证指标采集链路

假设 Kafka 进程已经通过 JMX Exporter 暴露 Prometheus 文本端点,先确认端点可访问且返回非空内容。下面示例使用 9404,实际端口不同时替换即可。

bash
METRICS_URL=http://127.0.0.1:9404/metrics
curl -fsS "$METRICS_URL" -o /tmp/kafka-metrics.prom
test -s /tmp/kafka-metrics.prom
echo "metrics endpoint ok"

预期输出:

text
metrics endpoint ok

这一步只证明“指标可以被抓取”,不证明规则完整。还要在监控平台检查最新抓取时间,并确认 Broker、Controller、Producer/Consumer 和 JVM 相关指标都存在;具体指标名称取决于 JMX Exporter 的映射规则。

把告警落到处置动作

告警名称最好直接对应下一步动作:离线分区告警指向 Broker 与副本状态检查,Lag 告警指向消费组定位,GC 暂停告警指向堆内存与对象分配检查。避免只发“Kafka 异常”这种没有定位价值的通知。

生产环境中应先建立正常时段基线,再设置持续窗口和分级阈值。最终目标不是指标越多越好,而是任何一条重要告警都能回答三个问题:哪里坏了、影响多大、下一步查什么。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

监控体系与关键指标

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通