操作系统 / 系统课时

从 vmstat 判断回收瓶颈

从 vmstat 判断回收瓶颈

当机器出现延迟抖动、进程偶发卡顿或负载突然升高时,先不要把“free 很低”直接判成内存不足。本节用 vmstat 建立连续样本,再结合 /proc/vmstat 的回收计数判断系统是否正在频繁换页、直接回收,或已经出现扫描效率低的回收瓶颈。

学习目标

  • 能从 vmstat 的 si、so、wa、b 等列识别持续内存压力
  • 能区分后台回收与直接回收,并理解主缺页增加意味着什么
  • 能按固定顺序把“内存紧张”和“回收已影响业务线程”区分开

先确认压力是不是持续存在

先连续采样,而不是只看一次瞬时值。vmstat 的第一条数据通常是自开机以来的平均值,排障时重点看后续按间隔产生的样本。

bash
vmstat 1 6

预期输出(具体数值会随机器负载变化,因此以 <VALUE> 表示动态值):

text
procs -----------memory---------- ---swap-- -----io---- -system-- ------cpu-----
 r  b   swpd   free   buff  cache   si   so    bi    bo   in   cs us sy id wa st
<VALUE> <VALUE> <VALUE> <VALUE> <VALUE> <VALUE> <VALUE> <VALUE> <VALUE> <VALUE> <VALUE> <VALUE> <VALUE> <VALUE> <VALUE> <VALUE> <VALUE>

判断时不要只看 free。Linux 会主动使用空闲内存做页缓存,低 free 可以是正常现象。更值得关注的是 si 和 so:它们持续非零,尤其 so 连续出现,说明匿名页正在被换出;如果同时 wa 与 b 升高,说明换页 I/O 可能已经让任务进入阻塞状态。

r 很高主要说明可运行任务多,不能单独证明内存问题;wa 很高也可能来自数据库或普通磁盘 I/O,所以必须与 Swap 和后面的回收计数一起判断。

用回收计数确认是不是业务线程在等内存

默认的 vmstat 表格不能直接告诉你内核扫描了多少页。确认回收路径时,可以对 /proc/vmstat 做短时间差分,重点观察 pgscan_kswapd、pgscan_direct、pgsteal_kswapd、pgsteal_direct 和 pgmajfault。

bash
snapshot() {
  awk '$1 ~ /^(pgmajfault|pgscan_kswapd|pgscan_direct|pgsteal_kswapd|pgsteal_direct)$/ {print $1, $2}' /proc/vmstat
}

before=$(mktemp)
after=$(mktemp)
snapshot > "$before"
sleep 2
snapshot > "$after"

awk 'NR==FNR {old[$1]=$2; next} {printf "%-18s %.0f\n", $1, $2-old[$1]}' "$before" "$after"
rm -f "$before" "$after"

预期输出(增量取决于当时负载,因此以 <VALUE> 表示):

text
pgmajfault        <VALUE>
pgsteal_kswapd    <VALUE>
pgsteal_direct    <VALUE>
pgscan_kswapd     <VALUE>
pgscan_direct     <VALUE>

pgscan_kswapd 增长表示后台回收线程在扫描页;它增长本身不等于故障。pgscan_direct 持续增长更关键,因为它表示申请内存的进程被迫进入直接回收路径,业务线程可能因此产生明显延迟。若 pgscan_* 增长很快而 pgsteal_* 增长较少,说明扫描了大量页面却回收不出多少可用页,常见于工作集过大、脏页较多或大量页当前不可回收。

pgmajfault 增长表示主缺页发生,需要从存储读取页面。它既可能来自 Swap,也可能来自文件映射,因此不能把“主缺页多”直接等同于“正在换页”。

从 vmstat 到回收根因的判断流程

把指标组合成可执行判断

出现下面这组组合时,才更有把握把问题归到明显内存压力:si/so 在多个采样周期持续活动,pgscan_direct 同期增长,并且应用延迟或 b、wa 同步抬升。此时说明内核不只是后台整理缓存,而是已经把一部分回收成本转移到业务线程。

如果只有 free 很低,但 si、so 为 0,pgscan_direct 基本不涨,系统通常还没有进入严重回收压力。相反,如果 so 不高但 pgscan_direct 很活跃,也要继续检查是否有大量文件页、脏页或不可回收内存占据空间。

排障时最实用的顺序是:先用连续样本确认压力是否持续,再看 Swap 与 I/O 是否联动,最后用直接回收和扫描/回收增量验证是否已经影响业务线程。这样能把“内存看起来很满”与“内存回收已经成为性能瓶颈”区分开。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

从 vmstat 判断回收瓶颈

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通