服务注册与分布式协调 / 技术文章

ZooKeeper 延迟升高与请求积压怎么排查

这篇文章面向正在处理 ZooKeeper P99 延迟升高、吞吐下降和请求积压的 SRE 与性能工程师,给出从客户端观测、服务端队列到 JVM、磁盘和仲裁网络的定位顺序,最终把“慢”收敛为可验证的瓶颈与修复项。

先判断是排队变长还是处理变慢

P99 变差不等于 ZooKeeper 内部一定“执行变慢”。端到端延迟还包含客户端排队、网络往返和服务端等待。先把 P50、P95、P99 按读写拆开,再看吞吐是否同步下降;只盯平均值,容易漏掉短时 GC、磁盘抖动和网络丢包造成的尾延迟。

mntr 的 zk_min_latency、zk_avg_latency、zk_max_latency 适合做服务端延迟快照,但不能代替 P99。P99 应来自客户端计时器或已接入的指标系统。zk_outstanding_requests 是积压信号:单次升高只说明当时有未完成请求,持续高位并伴随吞吐下降,才更像处理能力落后于到达速率。

吞吐要对 zk_packets_received、zk_packets_sent 在固定时间窗取增量。若入口速率上升、完成速率下降且 outstanding 同步抬升,优先排查服务端瓶颈;若 outstanding 很低但客户端 P99 仍高,则优先检查客户端线程池、连接和网络。

用最小快照确认积压和节点角色

对 ensemble 每个节点在相近时间取一次 mntr,记录节点角色、延迟、收发包、连接数和 outstanding。四字命令可能受 4lw.commands.whitelist 限制;生产环境应沿用既有白名单或监控接口,不要为临时排查扩大命令范围。

执行前把实际地址写入环境变量 ZK_HOST 和 ZK_PORT:

bash
: "${ZK_HOST:?set ZK_HOST}"
: "${ZK_PORT:?set ZK_PORT}"
printf 'mntr\n' | nc -w 2 "$ZK_HOST" "$ZK_PORT"

预期输出

text
zk_min_latency	<LATENCY_MS>
zk_avg_latency	<LATENCY_MS>
zk_max_latency	<LATENCY_MS>
zk_packets_received	<COUNT>
zk_packets_sent	<COUNT>
zk_num_alive_connections	<COUNT>
zk_outstanding_requests	<COUNT>
zk_server_state	<STATE>

实际数值会随节点和时间变化。若只有一个节点明显偏高,优先检查该节点本地资源;若多个节点同时恶化,尤其写请求一起变慢,则继续检查 leader 写路径、仲裁网络和整体流量。

沿请求链路定位积压点

一次请求会经历客户端发送、连接层、请求处理链路和响应返回;写请求还要经过 leader 协调、事务日志与 quorum 提交。把这些阶段的指标放到同一时间轴上,才能确认“哪个等待先出现”。

ZooKeeper 请求积压定位链路

如果 GC pause 先于延迟尖峰,随后 outstanding 突增,JVM 停顿是强线索;如果写 P99 先升、磁盘写延迟和 fsync 同时恶化,而读请求相对稳定,更像事务日志设备受限;如果 leader 与 follower 间 RTT、重传同步升高,则写提交可能被 quorum 等待拖慢。

把读慢和写慢分开归因

读请求主要受本地节点资源与客户端到该节点的网络影响;写请求还要经过 leader、事务持久化与多数派确认,因此对磁盘和节点间网络更敏感。

现象组合 优先怀疑 补证信号
读写同时慢,所有节点相近 CPU、长 GC、流量洪峰、网络拥塞 CPU/steal、GC pause、QPS、丢包与 RTT
写明显比读慢 事务日志 I/O、leader 压力、quorum RTT leader 负载、磁盘写延迟、fsync、节点间网络
单个节点读慢 本机 JVM、CPU 或客户端链路 GC、CPU、NIC、客户端 RTT
outstanding 持续高且吞吐下降 服务速率低于到达速率 请求速率、GC、磁盘与网络等待

对写延迟,事务日志设备是高优先级检查项。如果事务日志与快照、系统盘或其他高 I/O 工作负载共享设备,抖动可能直接反映到尾延迟;条件允许时,将 dataLogDir 放到独立、低延迟设备,再用同一负载验证。

识别客户端放大与服务端背压

服务端资源正常并不代表流量形态正常。重试风暴、连接集中重建、热点 znode 高频读写,或大量 watch 事件短时触发,都可能同时放大 CPU、网络和队列。排查时重点看 QPS 是否由少数客户端拉高、连接数是否突增、写比例是否变化,以及 zk_watch_count 与发送包速率是否同步异常。

还要检查超时重试是否形成正反馈:延迟升高触发更多重试,更多重试又扩大积压。globalOutstandingLimit 一类背压限制用于阻止未完成请求无限堆积,不应被当作扩容手段;若瓶颈在磁盘、GC 或 quorum 网络,单纯调大上限只会允许更多请求进入等待区。

修复后用同一负载做闭环验证

修复必须对应证据链:磁盘问题验证事务日志 I/O,GC 问题验证停顿,网络问题验证 leader-follower RTT 与丢包,客户端问题验证请求速率、重试率和连接行为。验收时使用与故障窗口可比的负载,同时观察客户端 P99、读写吞吐、zk_outstanding_requests、GC pause、CPU、磁盘写延迟和节点间网络。

理想结果不是“某一刻 outstanding 归零”,而是高峰下队列能回落、吞吐恢复、P99 不再持续爬升。若只能先止血,应先削减异常流量、限制重试放大并隔离明显故障节点;不要依赖反复重启清队列,也不要一次同时修改堆、线程、磁盘和限流参数,否则无法确认真正有效的改动。

目录与阅读设置

记录一个想法

ZooKeeper 延迟升高与请求积压怎么排查

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通