操作系统 / 系统课时
观察缺页异常与按需分配
观察缺页异常与按需分配
Linux 可以先给进程一段可用的虚拟地址,而在真正访问页面时才建立页表并分配物理页。本篇用匿名 mmap 申请 128 MiB,再逐页写入,比较申请前后虚拟内存、RSS 与缺页计数的变化,并区分 minor fault 与需要外部 I/O 的 major fault。
学习目标
- 通过实验区分虚拟地址预留与物理页实际分配。
- 用
ru_minflt、ru_majflt观察缺页异常数量变化。 - 解释匿名内存首次访问为什么通常产生 minor fault 而不是 major fault。
按需分配发生了什么
匿名映射建立时,内核主要创建 VMA 并保留地址范围,并不要求立刻为每个页面准备独立物理页。CPU 第一次访问尚未建立有效页表映射的地址时会触发 page fault,内核判断访问合法后补齐映射,再让指令重试。
如果所需数据不必从磁盘读取,例如匿名内存首次写入时分配一个清零物理页,这通常记为 minor fault。若缺失页面必须等待块设备或远端后备存储把数据读回来,才是 major fault。两者都是正常的虚拟内存机制,不能看到 fault 数增加就直接判断为故障。

用匿名 mmap 做逐页访问实验
下面的脚本在同一进程中记录 VmSize、RSS、minor fault 和 major fault。若 Python 与内核支持 MADV_NOHUGEPAGE,脚本会尽量关闭透明大页对结果的合并影响;不同机器的计数仍可能略有差异。
python3 - <<'PY'
import mmap
import os
import resource
SIZE = 128 * 1024 * 1024
PAGE = os.sysconf("SC_PAGE_SIZE")
def status_value(key):
with open("/proc/self/status", encoding="utf-8") as f:
for line in f:
if line.startswith(key + ":"):
return line.split(":", 1)[1].strip()
return "unknown"
def snapshot(label):
usage = resource.getrusage(resource.RUSAGE_SELF)
print(
f"{label}: "
f"VmSize={status_value('VmSize')} "
f"VmRSS={status_value('VmRSS')} "
f"minflt={usage.ru_minflt} "
f"majflt={usage.ru_majflt}"
)
snapshot("before")
buf = mmap.mmap(
-1,
SIZE,
flags=mmap.MAP_PRIVATE | mmap.MAP_ANONYMOUS,
prot=mmap.PROT_READ | mmap.PROT_WRITE,
)
if hasattr(buf, "madvise") and hasattr(mmap, "MADV_NOHUGEPAGE"):
buf.madvise(mmap.MADV_NOHUGEPAGE)
snapshot("after mmap")
for offset in range(0, SIZE, PAGE):
buf[offset] = 1
snapshot("after touch")
print(f"pages touched={SIZE // PAGE}, page_size={PAGE}")
PY预期输出
before: VmSize=<N> kB VmRSS=<N> kB minflt=<N> majflt=<N>
after mmap: VmSize=<约增加 131072 kB> VmRSS=<变化很小> minflt=<小幅变化> majflt=<通常不变>
after touch: VmSize=<基本不变> VmRSS=<显著增加> minflt=<显著增加> majflt=<通常为 0 或不变>
pages touched=<N> page_size=<N>多数 4 KiB 页系统会触碰约 32768 个页面,但透明大页、解释器自身活动和内核记账会让实际 fault 增量与页数不完全相等。关键现象不是某个固定数字,而是 VmSize 在建立映射时先增长,RSS 与 minor fault 在真正逐页写入后才明显增长。
为什么这里几乎看不到 major fault
匿名新页没有旧内容需要从文件读回,首次写入时内核可以直接提供清零页,因此通常只产生 minor fault。major fault 更常见于文件映射页已不在页缓存、可执行文件或共享库页面需要从存储读取,或被换出的匿名页需要从 swap 读回。
因此,不要用“访问一个大文件一次”作为稳定的 major fault 教学实验:如果页面已经在页缓存中,仍可能只有 minor fault。要诊断线上 major fault,应结合 /proc/<PID>/stat、pidstat -r、perf 或监控指标观察趋势,并同时确认磁盘 I/O 与 swap 活动。
用实验结果判断内存问题
如果进程只是 mmap 了很大的区域而尚未触碰,虚拟内存规模可能很大,但 RSS 仍低,这本身不代表物理内存压力。相反,逐页写入后 RSS 持续上升,说明页面已经实际驻留;若系统随后出现大量 major fault、swap I/O 与延迟抖动,才需要继续检查内存回收和换页压力。
缺页异常是按需分页的入口,不等于错误。判断性能影响时,先分清 minor 与 major,再把 fault 速率与 RSS、回收、swap 和 I/O 延迟放在同一时间轴上看。