操作系统 / 系统课时
从 vmstat 判断回收瓶颈
从 vmstat 判断回收瓶颈
当机器出现延迟抖动、进程偶发卡顿或负载突然升高时,先不要把“free 很低”直接判成内存不足。本节用 vmstat 建立连续样本,再结合 /proc/vmstat 的回收计数判断系统是否正在频繁换页、直接回收,或已经出现扫描效率低的回收瓶颈。
学习目标
- 能从
vmstat的si、so、wa、b等列识别持续内存压力 - 能区分后台回收与直接回收,并理解主缺页增加意味着什么
- 能按固定顺序把“内存紧张”和“回收已影响业务线程”区分开
先确认压力是不是持续存在
先连续采样,而不是只看一次瞬时值。vmstat 的第一条数据通常是自开机以来的平均值,排障时重点看后续按间隔产生的样本。
vmstat 1 6预期输出(具体数值会随机器负载变化,因此以 <VALUE> 表示动态值):
procs -----------memory---------- ---swap-- -----io---- -system-- ------cpu-----
r b swpd free buff cache si so bi bo in cs us sy id wa st
<VALUE> <VALUE> <VALUE> <VALUE> <VALUE> <VALUE> <VALUE> <VALUE> <VALUE> <VALUE> <VALUE> <VALUE> <VALUE> <VALUE> <VALUE> <VALUE> <VALUE>判断时不要只看 free。Linux 会主动使用空闲内存做页缓存,低 free 可以是正常现象。更值得关注的是 si 和 so:它们持续非零,尤其 so 连续出现,说明匿名页正在被换出;如果同时 wa 与 b 升高,说明换页 I/O 可能已经让任务进入阻塞状态。
r 很高主要说明可运行任务多,不能单独证明内存问题;wa 很高也可能来自数据库或普通磁盘 I/O,所以必须与 Swap 和后面的回收计数一起判断。
用回收计数确认是不是业务线程在等内存
默认的 vmstat 表格不能直接告诉你内核扫描了多少页。确认回收路径时,可以对 /proc/vmstat 做短时间差分,重点观察 pgscan_kswapd、pgscan_direct、pgsteal_kswapd、pgsteal_direct 和 pgmajfault。
snapshot() {
awk '$1 ~ /^(pgmajfault|pgscan_kswapd|pgscan_direct|pgsteal_kswapd|pgsteal_direct)$/ {print $1, $2}' /proc/vmstat
}
before=$(mktemp)
after=$(mktemp)
snapshot > "$before"
sleep 2
snapshot > "$after"
awk 'NR==FNR {old[$1]=$2; next} {printf "%-18s %.0f\n", $1, $2-old[$1]}' "$before" "$after"
rm -f "$before" "$after"预期输出(增量取决于当时负载,因此以 <VALUE> 表示):
pgmajfault <VALUE>
pgsteal_kswapd <VALUE>
pgsteal_direct <VALUE>
pgscan_kswapd <VALUE>
pgscan_direct <VALUE>pgscan_kswapd 增长表示后台回收线程在扫描页;它增长本身不等于故障。pgscan_direct 持续增长更关键,因为它表示申请内存的进程被迫进入直接回收路径,业务线程可能因此产生明显延迟。若 pgscan_* 增长很快而 pgsteal_* 增长较少,说明扫描了大量页面却回收不出多少可用页,常见于工作集过大、脏页较多或大量页当前不可回收。
pgmajfault 增长表示主缺页发生,需要从存储读取页面。它既可能来自 Swap,也可能来自文件映射,因此不能把“主缺页多”直接等同于“正在换页”。

把指标组合成可执行判断
出现下面这组组合时,才更有把握把问题归到明显内存压力:si/so 在多个采样周期持续活动,pgscan_direct 同期增长,并且应用延迟或 b、wa 同步抬升。此时说明内核不只是后台整理缓存,而是已经把一部分回收成本转移到业务线程。
如果只有 free 很低,但 si、so 为 0,pgscan_direct 基本不涨,系统通常还没有进入严重回收压力。相反,如果 so 不高但 pgscan_direct 很活跃,也要继续检查是否有大量文件页、脏页或不可回收内存占据空间。
排障时最实用的顺序是:先用连续样本确认压力是否持续,再看 Swap 与 I/O 是否联动,最后用直接回收和扫描/回收增量验证是否已经影响业务线程。这样能把“内存看起来很满”与“内存回收已经成为性能瓶颈”区分开。