计算机网络 / 系统课时
延迟高但CPU不高怎么办
延迟高但CPU不高怎么办
服务 P95/P99 已明显升高,整机 CPU 却只有三四成时,问题通常不在“算不动”,而在请求被某种等待拖住。本节用锁、I/O、队列、TCP 小包、调度和下游依赖六类证据,把低 CPU 高延迟从猜测变成可验证的定位过程。
学习目标
- 区分 CPU 执行时间与锁、I/O、队列、调度等待造成的墙钟时间。
- 用系统指标和连接指标判断请求主要卡在哪一类等待上。
- 通过分段延迟和对照压测验证修复是否真正降低尾延迟。
先确认慢在等待而不是计算
低 CPU 只说明“CPU 没被持续占满”,并不代表线程随时都能推进。一个请求的端到端时间还可能消耗在排队、互斥锁、磁盘或网络 I/O、调度器等待、下游 RPC 等位置。尤其是单核热点、cgroup 配额或事件循环阻塞时,整机平均 CPU 甚至会掩盖局部饱和。
先把延迟拆成“进入服务前的队列等待、处理器自身执行、下游等待”三段。若业务处理时间稳定而入口排队持续上升,应优先查容量和调度;若入口平稳而某个下游跨度突然变长,则不要先优化本地代码。

按等待类型收集第一轮证据
在 Linux 上可先用 pidstat 看线程调度与进程 I/O,再用 ss 看目标端口的 TCP 状态。下面脚本依赖 sysstat 与 iproute2;保存为 diagnose-wait.sh 后,以 bash diagnose-wait.sh <PID> <PORT> 运行,实际 PID、端口和数值会不同。
#!/usr/bin/env bash
set -euo pipefail
PID="${1:?usage: $0 <PID> <PORT>}"
PORT="${2:?usage: $0 <PID> <PORT>}"
pidstat -w -p "$PID" 1 1
pidstat -d -p "$PID" 1 1
ss -tin "sport = :${PORT}"预期输出
<TIME> UID PID cswch/s nvcswch/s Command
<TIME> <ID> <PID> <VALUE> <VALUE> <COMMAND>
<TIME> UID PID kB_rd/s kB_wr/s kB_ccwr/s iodelay Command
<TIME> <ID> <PID> <VALUE> <VALUE> <VALUE> <VALUE> <COMMAND>
ESTAB <VALUE> <VALUE> <LOCAL>:<PORT> <PEER>:<PORT>
<tcp-info fields may include rtt/retrans/cwnd/notsent depending on kernel and iproute2 version>cswch/s 很高常见于线程频繁睡眠和唤醒,nvcswch/s 持续升高要继续检查抢占和可运行线程竞争;iodelay 增长说明进程曾因块 I/O 等待。TCP 连接上若 RTT、重传或未发送数据明显恶化,应把注意力转到网络、对端读取速度和发送缓冲,而不是继续盯着用户态 CPU。
分清六类常见根因
锁等待的典型特征是请求线程存在但大部分时间不运行,热点锁附近吞吐下降,尾延迟随并发上升而陡增。应结合线程栈、运行时锁统计或 eBPF off-CPU 采样找出具体等待点,不能只凭上下文切换次数直接判定“有锁竞争”。
I/O 等待要继续区分本地磁盘、文件系统、网络套接字和下游服务。若业务线程阻塞在同步 I/O,而事件循环本身仍空闲,总 CPU 也会偏低;这时应看 I/O 延迟、连接池占用和调用跨度,而不是盲目增加事件循环线程。
队列积压通常表现为处理耗时没有明显变差,但到达率长期高于完成率,待处理任务数、accept 队列或应用队列持续上升。只要队列还在变长,延迟就会继续恶化,即使 CPU 尚未打满。
TCP 小包场景要关注发送模式。启用 Nagle 的连接在“频繁小写入并等待对端响应”时可能与延迟 ACK 叠加,形成几十毫秒级的等待台阶;只有确认交互模式确实需要低延迟小包时,才考虑 TCP_NODELAY,不要把它当成吞吐优化开关。
调度问题要看每核利用率、运行队列和 cgroup 限额。总 CPU 30% 并不排除某个事件循环线程所在核心已经 100%,也不排除容器被配额节流。下游依赖则以分布式追踪最直观:若大部分墙钟时间落在数据库、缓存或 RPC span,本地服务 CPU 低反而是符合预期的现象。
用分段延迟验证修复
修复前先记录同一压测条件下的到达率、完成率、队列深度、处理耗时和端到端 P99。一次只改变一个变量,例如扩大连接池、减少锁临界区、拆小同步 I/O、调整发送聚合策略或修复慢下游,然后重复相同负载。
真正有效的修复应同时满足两个结果:导致等待的直接证据下降,例如队列深度或锁等待减少;端到端尾延迟也随之下降。如果 CPU 上升了但 P99 不变,只能说明系统做了更多工作,不能证明瓶颈已经解除。