操作系统 / 系统课时

用 PSI 区分资源压力来源

用 PSI 区分资源压力来源

PSI 不回答“资源用了多少”,而回答“任务因为资源不足被迫等了多久”。本节用 /proc/pressure 同时观察 CPU、内存和 I/O,把高负载进一步归因到算力竞争、内存回收或存储阻塞,并避免只看利用率误判。

学习目标

  • 读取 CPU、memory、I/O 三类 PSI,并解释 avg10、avg60、avg300 与 total
  • 区分 some 与 full,判断压力是局部等待还是整体停顿
  • 根据压力类型选择后续验证方向,而不是把所有高负载都归因于 CPU

PSI 看见的是等待时间

Pressure Stall Information 会统计可运行或正在工作的任务,因为 CPU、内存或 I/O 资源暂时不可用而发生的停顿。它和利用率互补:CPU 100% 说明处理器忙,但只有 CPU PSI 上升才能证明已经有任务在排队等待算力;磁盘利用率高也不等于业务一定受阻,I/O PSI 才反映任务是否真的被拖住。

some 表示观察窗口内至少有一个任务因该资源而停顿;full 表示所有非空闲任务同时陷入该类停顿,系统在这些时段几乎没有有效推进。对 memory 和 I/O,full 尤其值得警惕。CPU 的系统级判断主要看 some;部分内核或统计作用域会提供 CPU full,但它不应作为判断普通算力竞争的主指标。

资源 some 上升通常意味着 full 上升通常意味着
CPU 有 runnable 任务拿不到 CPU 时间 系统级诊断通常不以它作为主判据
memory 有任务因回收、压缩或换页等内存路径停顿 活跃任务大面积同时被内存压力卡住
I/O 有任务在等待块设备 I/O 完成 活跃任务大面积同时被 I/O 阻塞

PSI some 与 full 压力窗口示意

读取并比较三类压力

只要内核启用了 PSI,就可以直接读取 /proc/pressure。下面一次输出三类资源,适合在故障现场做第一轮分流。

bash
for r in cpu memory io; do
  printf '== %s ==\n' "$r"
  cat "/proc/pressure/$r"
done

预期输出

text
== cpu ==
some avg10=<PCT> avg60=<PCT> avg300=<PCT> total=<USEC>
== memory ==
some avg10=<PCT> avg60=<PCT> avg300=<PCT> total=<USEC>
full avg10=<PCT> avg60=<PCT> avg300=<PCT> total=<USEC>
== io ==
some avg10=<PCT> avg60=<PCT> avg300=<PCT> total=<USEC>
full avg10=<PCT> avg60=<PCT> avg300=<PCT> total=<USEC>

<PCT> 和 <USEC> 会随机器状态变化;实际系统可能额外显示 CPU full 行,以当前内核输出为准。avg10、avg60、avg300 是最近约 10、60、300 秒窗口内的停顿比例,适合分别观察突发、短期趋势和较慢基线;total 是累计停顿微秒数,更适合比较两次采样之间的增量。

用 some 与 full 判断严重程度

诊断时先看“哪一种资源有压力”,再看“压力影响了多少任务”。例如 CPU some 明显升高,而 memory 与 I/O 接近 0,说明主要矛盾是 runnable 任务争抢 CPU;memory some 和 full 同时上升,则要优先检查回收、换页、内存上限和工作集是否失控;I/O full 持续抬升,则意味着存储等待已经让大部分活跃任务无法前进。

窗口也要结合起来看。只有 avg10 突然升高而 avg300 很低,常见于短时尖峰;三者都高,说明压力已经持续。不要给所有机器套固定阈值,先记录正常业务时段的基线,再比较异常时段的偏离程度。

从压力类型走向根因

把 PSI 当成“分诊器”最有效。CPU some 高时,后续检查每核利用率、运行队列、热点线程和 CPU 亲和性;memory 压力高时,转向缺页、回收、swap、cgroup 内存上限与 OOM 事件;I/O 压力高时,再检查设备延迟、队列深度、吞吐和具体 I/O 发起者。

如果三类 PSI 都不高,但应用仍然慢,瓶颈更可能在 PSI 不直接覆盖的路径,例如网络等待、远程 RPC、锁竞争、限流或用户态队列。反过来,多类 PSI 同时升高时也不要急于判定多个独立故障:内存回收可能制造额外 I/O,I/O 阻塞又可能改变 CPU 负载,应该沿最先异常、最能解释业务停顿的指标继续验证。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

用 PSI 区分资源压力来源

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通