计算机网络 / 系统课时

延迟高但CPU不高怎么办

延迟高但CPU不高怎么办

服务 P95/P99 已明显升高,整机 CPU 却只有三四成时,问题通常不在“算不动”,而在请求被某种等待拖住。本节用锁、I/O、队列、TCP 小包、调度和下游依赖六类证据,把低 CPU 高延迟从猜测变成可验证的定位过程。

学习目标

  • 区分 CPU 执行时间与锁、I/O、队列、调度等待造成的墙钟时间。
  • 用系统指标和连接指标判断请求主要卡在哪一类等待上。
  • 通过分段延迟和对照压测验证修复是否真正降低尾延迟。

先确认慢在等待而不是计算

低 CPU 只说明“CPU 没被持续占满”,并不代表线程随时都能推进。一个请求的端到端时间还可能消耗在排队、互斥锁、磁盘或网络 I/O、调度器等待、下游 RPC 等位置。尤其是单核热点、cgroup 配额或事件循环阻塞时,整机平均 CPU 甚至会掩盖局部饱和。

先把延迟拆成“进入服务前的队列等待、处理器自身执行、下游等待”三段。若业务处理时间稳定而入口排队持续上升,应优先查容量和调度;若入口平稳而某个下游跨度突然变长,则不要先优化本地代码。

低CPU高延迟的等待型瓶颈定位流程

按等待类型收集第一轮证据

在 Linux 上可先用 pidstat 看线程调度与进程 I/O,再用 ss 看目标端口的 TCP 状态。下面脚本依赖 sysstat 与 iproute2;保存为 diagnose-wait.sh 后,以 bash diagnose-wait.sh <PID> <PORT> 运行,实际 PID、端口和数值会不同。

bash
#!/usr/bin/env bash
set -euo pipefail

PID="${1:?usage: $0 <PID> <PORT>}"
PORT="${2:?usage: $0 <PID> <PORT>}"

pidstat -w -p "$PID" 1 1
pidstat -d -p "$PID" 1 1
ss -tin "sport = :${PORT}"

预期输出

text
<TIME> UID   PID   cswch/s nvcswch/s Command
<TIME> <ID> <PID> <VALUE> <VALUE>    <COMMAND>

<TIME> UID   PID   kB_rd/s kB_wr/s kB_ccwr/s iodelay Command
<TIME> <ID> <PID> <VALUE> <VALUE> <VALUE>    <VALUE> <COMMAND>

ESTAB <VALUE> <VALUE> <LOCAL>:<PORT> <PEER>:<PORT>
<tcp-info fields may include rtt/retrans/cwnd/notsent depending on kernel and iproute2 version>

cswch/s 很高常见于线程频繁睡眠和唤醒,nvcswch/s 持续升高要继续检查抢占和可运行线程竞争;iodelay 增长说明进程曾因块 I/O 等待。TCP 连接上若 RTT、重传或未发送数据明显恶化,应把注意力转到网络、对端读取速度和发送缓冲,而不是继续盯着用户态 CPU。

分清六类常见根因

锁等待的典型特征是请求线程存在但大部分时间不运行,热点锁附近吞吐下降,尾延迟随并发上升而陡增。应结合线程栈、运行时锁统计或 eBPF off-CPU 采样找出具体等待点,不能只凭上下文切换次数直接判定“有锁竞争”。

I/O 等待要继续区分本地磁盘、文件系统、网络套接字和下游服务。若业务线程阻塞在同步 I/O,而事件循环本身仍空闲,总 CPU 也会偏低;这时应看 I/O 延迟、连接池占用和调用跨度,而不是盲目增加事件循环线程。

队列积压通常表现为处理耗时没有明显变差,但到达率长期高于完成率,待处理任务数、accept 队列或应用队列持续上升。只要队列还在变长,延迟就会继续恶化,即使 CPU 尚未打满。

TCP 小包场景要关注发送模式。启用 Nagle 的连接在“频繁小写入并等待对端响应”时可能与延迟 ACK 叠加,形成几十毫秒级的等待台阶;只有确认交互模式确实需要低延迟小包时,才考虑 TCP_NODELAY,不要把它当成吞吐优化开关。

调度问题要看每核利用率、运行队列和 cgroup 限额。总 CPU 30% 并不排除某个事件循环线程所在核心已经 100%,也不排除容器被配额节流。下游依赖则以分布式追踪最直观:若大部分墙钟时间落在数据库、缓存或 RPC span,本地服务 CPU 低反而是符合预期的现象。

用分段延迟验证修复

修复前先记录同一压测条件下的到达率、完成率、队列深度、处理耗时和端到端 P99。一次只改变一个变量,例如扩大连接池、减少锁临界区、拆小同步 I/O、调整发送聚合策略或修复慢下游,然后重复相同负载。

真正有效的修复应同时满足两个结果:导致等待的直接证据下降,例如队列深度或锁等待减少;端到端尾延迟也随之下降。如果 CPU 上升了但 P99 不变,只能说明系统做了更多工作,不能证明瓶颈已经解除。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

延迟高但CPU不高怎么办

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通