Linux 与服务器运维 / 系统课时

为什么不能只盯着一个指标

为什么不能只盯着一个指标

故障排查最危险的做法之一,是把某个“看起来很高”的数字直接当作根因。Linux 的负载、Swap、I/O wait、CPU 和进程状态彼此关联,同一个现象可能由不同原因触发。本节用几个常见组合说明如何通过交叉指标判断真正的压力来源。

学习目标

  • 理解“异常指标”与“故障根因”不是同一件事
  • 能把负载、CPU、Swap、I/O 和进程状态组合起来判断
  • 能识别常见的误判模式,并选择下一步验证命令

单个数字为什么会误导

以 load average 为例,Linux 负载统计的不只是正在占用 CPU 的任务,也包括处于不可中断睡眠状态的任务。因此“负载高”既可能是 CPU 竞争,也可能是存储 I/O 阻塞。只看 uptime 无法区分这两种情况。

Swap 也类似。系统存在一定 Swap 使用量,并不等于当前正在发生内存抖动;真正需要关注的是是否持续发生换入换出,以及应用是否同时出现延迟、回收压力或 OOM。磁盘 I/O 也是如此,吞吐量高可能只是正常批处理,是否构成故障还要结合等待情况和业务响应。

高负载、Swap 与 I/O 指标的交叉判断关系

用一组命令做交叉验证

遇到“机器很慢”或“负载突然升高”时,可以先用下面这组命令同时观察负载、调度、内存和高消耗进程。

bash
uptime
vmstat 1 5
free -h
ps -eo pid,comm,%cpu,%mem,state --sort=-%cpu | head

预期输出

text
 <TIME> up <TIME>,  <N> users,  load average: <LOAD1>, <LOAD5>, <LOAD15>

procs -----------memory---------- ---swap-- -----io---- -system-- ------cpu-----
 r  b   swpd   free   buff  cache   si   so    bi    bo   in   cs us sy id wa st
 <N> <N> <N>   <N>    <N>   <N>    <N>  <N>   <N>   <N>  <N>  <N> <N> <N> <N> <N> <N>

               total        used        free      shared  buff/cache   available
Mem:           <SIZE>      <SIZE>      <SIZE>      <SIZE>      <SIZE>      <SIZE>
Swap:          <SIZE>      <SIZE>      <SIZE>

    PID COMMAND         %CPU %MEM S
   <ID> <COMMAND>       <N>  <N>  <STATE>

这些值本身没有统一的“故障阈值”,关键是看组合关系和连续采样趋势。

三种常见误判

负载高不一定是 CPU 满

如果 load average 很高,同时 vmstat 的 r 持续高、us 与 sy 也高、id 处于低位,那么 CPU 竞争是合理的怀疑方向。此时再用进程列表定位谁在持续消耗 CPU。

如果负载高,但 r 不高,反而 b 和 wa 持续偏高,并且多个进程处于 D 状态,就更像 I/O 阻塞。此时继续盯 CPU 百分比只会偏离问题。

Swap 已用不等于正在抖动

free -h 显示 Swap 已使用,只说明部分页面曾被换出。判断当前是否有 Swap 压力,应结合 vmstat 的 si、so。如果它们在连续采样中长期接近 0,系统可能只是保留了历史换出的冷页。

相反,如果 available 很低,si、so 持续非零,而且业务延迟同步上升,就应该继续排查哪些进程占用内存,以及是否存在内存泄漏或工作集超过物理内存。

I/O wait 高需要继续找谁在等

wa 高表示 CPU 有一部分时间在等待 I/O,但它仍然只是现象。下一步应确认是否有大量 D 状态进程,以及问题集中在磁盘、网络文件系统还是其他块设备路径。若只是一次短暂峰值,不应仅凭单个采样判定存储故障。

建立现象、证据与根因链条

排障时可以把判断写成一句完整的话:现象是什么,哪些独立指标支持它,什么证据还能排除其他解释。 例如,“负载高”只是现象;“r 持续高、CPU 空闲率低、某进程长期占用大量 CPU”才构成更强的 CPU 竞争证据。

真正可靠的排障不是寻找一个万能数字,而是把多个指标拼成一致的因果链。指标之间如果互相矛盾,先解释矛盾,再继续取证;这往往比立刻“修复”更接近真正根因。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

为什么不能只盯着一个指标

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通