服务注册与分布式协调 / 系统课时
监控接口与核心指标
监控接口与核心指标
本课建立 ZooKeeper 的基础监控面:用 AdminServer 和四字命令快速诊断,用 JMX 查看 JVM 与服务对象,并通过 Prometheus 指标端点接入持续采集。最终目标是让每个节点的角色、延迟、连接、请求和磁盘风险都可观测。
学习目标
- 区分 AdminServer、四字命令、JMX 和指标端点的用途
- 启用最小必要监控配置并完成验证
- 识别生产环境最重要的运行指标
四类监控入口
AdminServer 提供 HTTP 命令接口,默认命令路径为 /commands,适合脚本和平台调用。四字命令通过客户端端口发送,适合快速排障,但新版本默认只开放少量命令,应按需加入白名单。
JMX 适合查看 JVM、连接工厂和 ZooKeeper 服务 MBean;Prometheus 指标端点适合长期采集、趋势分析和告警。四类入口不是互相替代,而是分别服务于临时诊断、对象级查看和时间序列监控。

启用最小监控配置
下面配置显式绑定 AdminServer 和 Prometheus 端点,并只开放常用只读四字命令。端口必须限制在管理网络或通过防火墙保护,不能直接暴露到公网。
admin.enableServer=true
admin.serverAddress=127.0.0.1
admin.serverPort=8080
admin.commandURL=/commands
4lw.commands.whitelist=ruok,mntr,srvr,stat
metricsProvider.className=org.apache.zookeeper.metrics.prometheus.PrometheusMetricsProvider
metricsProvider.httpHost=127.0.0.1
metricsProvider.httpPort=7000
metricsProvider.exportJvmInfo=true配置生效后,AdminServer 监听 8080,Prometheus 指标监听 7000,四字命令只能执行白名单中的项目。若监控系统不在本机,应绑定管理网地址并增加访问控制,而不是直接改成任意地址开放。
验证接口
先验证进程、角色和基础指标。ruok 返回 imok 只说明进程能够响应,不代表节点已经加入多数派,因此还要检查 srvr 或 AdminServer 中的角色状态。
printf 'ruok' | nc -w 2 127.0.0.1 2181
printf 'srvr' | nc -w 2 127.0.0.1 2181 | grep -E 'Mode|Node count'
curl -s http://127.0.0.1:8080/commands/monitor | head
curl -s http://127.0.0.1:7000/metrics | grep -E 'avg_latency|outstanding_requests' | head预期输出会包含进程健康、节点角色、AdminServer JSON 和 Prometheus 文本指标。具体版本号、节点数和指标名称可能不同。
imok
Mode: follower
Node count: 8421
{"command":"monitor","error":null,...}
avg_latency 2.0
outstanding_requests 0核心指标分组
请求质量重点看平均、最大和分位延迟,以及未完成请求数。延迟持续升高且未完成请求同步增长,通常表示磁盘、CPU、网络或请求突发造成处理能力不足。
资源与规模重点看活跃连接、ZNode 数量、Watch 数量、近似数据大小、文件描述符、堆内存、GC 停顿和磁盘使用率。角色与可用性重点看 leader、follower、observer、looking 状态,以及选举次数和节点启动时间。
监控平台应按节点保留原始指标,再在集群层计算“可用投票节点数”“是否存在唯一 Leader”“多数派是否成立”。只看单节点 ruok 容易把活着但未入群的节点误判为健康。
JMX 的使用位置
JMX 更适合现场分析,例如确认 JVM 堆、线程、连接工厂和当前节点角色。远程 JMX 应使用认证和加密,并只开放在受控网络。日常告警优先使用 Prometheus 等拉取式指标,避免监控系统依赖人工打开 JMX 客户端。
本课总结
- AdminServer 和四字命令适合诊断,JMX 与 Prometheus适合深度和持续监控
imok不等于已经加入多数派,必须同时检查节点角色- 核心监控要覆盖延迟、未完成请求、连接、数据规模、JVM、磁盘和选举状态
下一课预告
下一课将把这些指标转成可执行的告警规则,并设计持续时间、严重级别和抑制关系。