Linux 与服务器运维 / 技术文章
Linux 高负载但 CPU 不高怎么查
Linux 主机出现高负载但 CPU 使用率不高时,很多开发者会误以为监控指标异常。本文面向后端、系统与嵌入式开发者,解释 Linux load average 的真实含义,分析进程等待、I/O 阻塞、内存压力等常见原因,最终能够根据系统指标定位性能瓶颈。
Linux 负载高不等于 CPU 忙
Linux 中的 load average 表示正在运行或等待运行的任务数量,并不只是 CPU 使用量。一个进程如果正在等待不可中断 I/O,也可能被计入系统负载。
例如,一个系统可能出现:
load average: 12.50, 10.30, 8.20
CPU idle: 85%这种情况说明大量任务没有消耗 CPU,而是在等待某种资源。
CPU 使用率回答的是“处理器正在执行多少工作”,而系统负载回答的是“有多少任务处于可运行或等待状态”。两者关注的问题不同。
从 load average 判断等待类型
排查高负载问题时,需要先确认负载来自哪一类任务。
常见来源包括:
- CPU 密集型计算:大量任务竞争 CPU 时间片。
- 磁盘 I/O 等待:进程等待存储设备完成读写。
- 网络文件系统等待:访问远程存储时阻塞。
- 内存回收压力:频繁换页导致任务停顿。
- 内核锁竞争:线程等待内核资源释放。
可以先观察系统整体状态:
uptime
vmstat 1预期输出:
load average: 15.20, 12.10, 9.80
r b
2 18其中 r 表示等待 CPU 调度的任务数量,b 表示处于不可中断睡眠状态的任务数量。大量 b 通常意味着 I/O 或内核等待。
排查 I/O 阻塞导致的高负载
磁盘慢是高负载但 CPU 空闲的常见原因。进程可能已经提交请求,但大量时间消耗在等待存储设备响应。
可以使用 iostat 查看设备压力:
iostat -xz 1重点关注:
%util:设备是否长期繁忙。await:请求平均等待时间。avgqu-sz:设备请求队列长度。
如果磁盘利用率接近 100%,同时 await 持续升高,说明瓶颈可能在存储链路,而不是 CPU。
分析进程为什么处于等待状态
确认系统负载来源后,需要定位具体进程。
可以查看进程状态:
ps -eo pid,state,comm,wchan:32 --sort=state常见状态包括:
R:正在运行或等待 CPU 调度。S:可中断睡眠。D:不可中断睡眠,通常与 I/O 等待有关。
如果大量进程处于 D 状态,需要继续检查它们等待的内核路径,例如磁盘、网络文件系统或驱动调用。
检查内存压力和换页问题
内存不足时,Linux 可能通过回收页面或交换空间维持运行,但这会增加任务等待时间。
查看内存状态:
free -m
vmstat 1重点观察:
si、so:交换进入和交换出去的数据量。- 可用内存是否持续下降。
- 缓存回收是否异常频繁。
如果 swap 活跃且 I/O 同时升高,系统负载可能来自内存压力,而不是应用 CPU 消耗。
使用 perf 和内核视角定位深层原因
当普通指标无法解释问题时,需要进一步观察内核行为。
例如查看系统调用和阻塞位置:
strace -p <PID>或者分析 CPU 调度、锁竞争:
perf top通过这些工具可以判断问题是否来自:
- 系统调用阻塞。
- 内核锁竞争。
- 调度延迟。
- 驱动或文件系统异常。
建立高负载排查流程
面对 Linux 高负载但 CPU 不高的问题,可以按照以下顺序定位:
- 查看 load average,确认负载是否持续增长。
- 使用
vmstat判断任务是在等待 CPU 还是阻塞。 - 使用
iostat检查磁盘和 I/O 延迟。 - 使用
ps找出异常状态进程。 - 检查内存、swap 和内核调用。
- 必要时使用 perf 等工具深入分析。
高负载并不意味着 CPU 不够用。理解 Linux 调度、I/O 等待和内存管理机制,才能避免盲目扩容 CPU,而是找到真正限制系统性能的资源。