服务注册与分布式协调 / 系统课时

告警规则设计

告警规则设计

本课把 ZooKeeper 的监控指标转化为可行动的告警。你将围绕延迟、积压、连接、磁盘、选举和节点状态设置阈值,并通过持续时间、分级和抑制减少误报,确保告警出现时能直接指导排查。

学习目标

  • 为关键指标设计有业务含义的触发条件
  • 使用持续时间和严重级别控制告警噪声
  • 建立单节点、集群和基础设施之间的关联

告警先回答三个问题

每条规则都应说明“什么异常、持续多久、谁需要处理”。瞬时延迟尖峰不一定影响业务,持续积压才更值得告警;单个 follower 重启通常是警告,多数派丢失则应立即升级为严重告警。

阈值不要完全照搬固定数字。先采集至少一个完整业务周期的基线,再用正常高峰的分位值设置初始门槛。下面示例假设采集层已把不同来源统一为 zookeeper_* 指标名称,落地时需要按实际指标映射调整。

Prometheus 规则示例

yaml
groups:
  - name: zookeeper-availability
    rules:
      - alert: ZooKeeperNodeLookingTooLong
        expr: zookeeper_server_state{state="looking"} == 1
        for: 2m
        labels:
          severity: warning
        annotations:
          summary: "ZooKeeper 节点持续处于选举状态"

      - alert: ZooKeeperOutstandingRequestsHigh
        expr: zookeeper_outstanding_requests > 50
        for: 5m
        labels:
          severity: warning
        annotations:
          summary: "ZooKeeper 未完成请求持续积压"

      - alert: ZooKeeperWriteLatencyHigh
        expr: zookeeper_write_latency_p95_ms > 50
        for: 5m
        labels:
          severity: warning
        annotations:
          summary: "ZooKeeper 写延迟 P95 持续偏高"

      - alert: ZooKeeperDiskFreeLow
        expr: node_filesystem_avail_bytes{mountpoint="/var/lib/zookeeper"} / node_filesystem_size_bytes{mountpoint="/var/lib/zookeeper"} < 0.15
        for: 10m
        labels:
          severity: critical
        annotations:
          summary: "ZooKeeper 数据盘可用空间低于 15%"

生效行为:Prometheus 在表达式连续满足 for 时长后触发告警,短暂抖动不会立即通知。验证时可先使用较低风险的测试标签或临时降低阈值,不要直接制造生产节点故障。

六类核心规则

延迟告警应区分读、写和最大值。写延迟升高常与事务日志 fsync、磁盘争用或 leader 压力有关;读延迟升高还可能来自连接过多、GC 或热点请求。

未完成请求数反映排队压力,适合与请求速率、CPU、磁盘延迟一起判断。连接数应同时监控总量、单 IP 连接和文件描述符使用率,避免只看到连接增长却忽略系统上限。

磁盘告警至少分两级,例如低于 20% 为预警、低于 10% 为严重,并增加“预计耗尽时间”。选举告警要关注 looking 持续时间、短时间内角色切换次数以及是否存在唯一 Leader。

节点状态告警不能只判断进程存活。应分别计算在线投票节点数、Observer 数、Leader 数和多数派结果。三节点集群失去一个节点是降级,失去两个节点才是不可写,但前者也应及时处理。

分级、抑制与恢复

建议把“单 follower 不可用”设为 warning,把“没有 Leader、可用投票节点少于多数派、磁盘即将写满”设为 critical。多数派丢失时,可以抑制由各节点连锁产生的连接失败和角色异常告警,避免同一事故触发几十条通知。

恢复通知应要求指标稳定一段时间,并附带最近一次角色、延迟和磁盘值。告警标签至少包含集群、实例、角色、机房和环境,便于路由给正确值班组。

验收检查

规则上线前,在测试集群模拟停止一个 follower、限制磁盘空间、增加写入压力和阻断选举端口。确认每种场景只触发预期告警,恢复后自动关闭,并且通知中包含检查地址和处置手册入口。

本课总结

  • 告警阈值应来自业务基线,并配合持续时间过滤瞬时抖动
  • 单节点异常与多数派丢失必须使用不同严重级别
  • 抑制和恢复条件与触发条件同样重要

下一课预告

下一课将从数据量、Watch、连接数和写入速率出发,估算 ZooKeeper 的内存、磁盘与节点规模。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

告警规则设计

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通