操作系统 / 系统课时

Swap 抖动为什么会拖慢服务

Swap 抖动为什么会拖慢服务

当进程的活跃工作集装不进物理内存时,内核可能不断把匿名页换出到 Swap,又很快因访问这些页而换入。服务线程因此反复等待缺页和块设备 I/O,吞吐下降、尾延迟升高,这就是需要重点识别的 Swap 抖动或 thrashing。

学习目标

  • 解释频繁 swap-out 与 swap-in 为什么会放大缺页和 I/O 成本
  • 用 vmstat、PSI 和 /proc/vmstat 识别持续抖动,而不是只看 Swap 是否被占用
  • 按“先降压力、再找根因”的顺序处理内存工作集失配

抖动是一个自我强化的循环

Swap 被使用并不等于系统异常。冷的匿名页长期停在 Swap,而服务仍保持稳定延迟,通常没有问题。真正危险的是“刚换出又要换回”:进程访问已被换出的页时发生 major fault,内核必须从 Swap 读回;为了腾出页框,又可能继续回收其他页。

Swap 抖动形成的反馈循环

这个循环会同时放大三类成本:缺页路径需要陷入内核并等待存储;换入换出抢占磁盘带宽;回收线程持续扫描页面也会消耗 CPU。即使 Swap 在 NVMe 上,访问延迟仍远高于 DRAM,所以业务常先表现为 P95/P99 延迟抬升,而不是立刻 OOM。

用一组指标确认是不是 thrashing

不要只看 free 里的 Swap 已用量。更有价值的是持续观察换入换出速率、I/O 等待、major fault 和内存压力。下面的命令都只读,不会修改系统状态。

bash
# 连续采样换页、I/O 等待与 CPU 状态
vmstat 1 5
# 再检查内存压力和累计换页、重大缺页计数
cat /proc/pressure/memory
grep -E '^(pswpin|pswpout|pgmajfault) ' /proc/vmstat

预期输出

text
procs -----------memory---------- ---swap-- -----io---- -system-- ------cpu-----
 r  b   swpd   free   buff  cache   si   so    bi    bo   in   cs us sy id wa st
<VALUE> <VALUE> <VALUE> <VALUE> <VALUE> <VALUE> <VALUE> <VALUE> <VALUE> <VALUE> <VALUE> <VALUE> <VALUE> <VALUE> <VALUE> <VALUE> <VALUE>
some avg10=<VALUE> avg60=<VALUE> avg300=<VALUE> total=<VALUE>
full avg10=<VALUE> avg60=<VALUE> avg300=<VALUE> total=<VALUE>
pswpin <VALUE>
pswpout <VALUE>
pgmajfault <VALUE>

vmstat 中 si、so 分别表示每秒从 Swap 换入和换出的数据量。若它们持续非零,同时 wa 明显升高、业务延迟恶化,就要高度怀疑抖动。pgmajfault 是累计计数,需要间隔采样看增量;/proc/pressure/memory 的 some 或 full 持续升高,说明任务确实在因内存回收或缺页停顿。部分较老内核没有 PSI 文件,此时以 vmstat、缺页计数和业务延迟交叉判断。

从工作集角度定位根因

先确认问题是不是“活跃工作集大于可用物理内存”。常见根因包括进程堆增长、缓存无上限、容器内存限制过紧,或同机任务突然抢占内存。此时单纯降低 swappiness 只能改变回收偏好,不能凭空增加内存。

排查时优先把时间线对齐:业务延迟开始升高的时刻,是否同时出现 si/so 增长、PSI memory 上升、major fault 加速。然后再定位哪个进程或 cgroup 的 RSS、匿名内存、工作集在增长。若 Swap I/O 很高但业务 major fault 不多,还要检查是否是其他进程在制造压力。

先止损,再决定长期方案

已经发生明显 thrashing 时,第一目标是减少当前内存压力,例如暂停非关键批处理、降低并发、缩小进程缓存,或把负载迁移到有余量的实例。直接关闭 Swap 可能迫使系统更快进入 OOM,不应作为通用止损手段。

长期方案取决于根因:如果工作集本身合理,就增加可用内存或重新分配容器限制;如果缓存或堆异常增长,就修正上限和泄漏;如果只是回收策略不合适,再评估 swappiness、cgroup 策略或更快的 Swap 介质。判断标准不是“Swap 归零”,而是服务不再因换页循环产生持续的缺页等待和尾延迟。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

Swap 抖动为什么会拖慢服务

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通