操作系统 / 系统课时

观察缺页异常与按需分配

观察缺页异常与按需分配

Linux 可以先给进程一段可用的虚拟地址,而在真正访问页面时才建立页表并分配物理页。本篇用匿名 mmap 申请 128 MiB,再逐页写入,比较申请前后虚拟内存、RSS 与缺页计数的变化,并区分 minor fault 与需要外部 I/O 的 major fault。

学习目标

  • 通过实验区分虚拟地址预留与物理页实际分配。
  • 用 ru_minflt、ru_majflt 观察缺页异常数量变化。
  • 解释匿名内存首次访问为什么通常产生 minor fault 而不是 major fault。

按需分配发生了什么

匿名映射建立时,内核主要创建 VMA 并保留地址范围,并不要求立刻为每个页面准备独立物理页。CPU 第一次访问尚未建立有效页表映射的地址时会触发 page fault,内核判断访问合法后补齐映射,再让指令重试。

如果所需数据不必从磁盘读取,例如匿名内存首次写入时分配一个清零物理页,这通常记为 minor fault。若缺失页面必须等待块设备或远端后备存储把数据读回来,才是 major fault。两者都是正常的虚拟内存机制,不能看到 fault 数增加就直接判断为故障。

匿名内存按需分配与缺页处理

用匿名 mmap 做逐页访问实验

下面的脚本在同一进程中记录 VmSize、RSS、minor fault 和 major fault。若 Python 与内核支持 MADV_NOHUGEPAGE,脚本会尽量关闭透明大页对结果的合并影响;不同机器的计数仍可能略有差异。

bash
python3 - <<'PY'
import mmap
import os
import resource

SIZE = 128 * 1024 * 1024
PAGE = os.sysconf("SC_PAGE_SIZE")

def status_value(key):
    with open("/proc/self/status", encoding="utf-8") as f:
        for line in f:
            if line.startswith(key + ":"):
                return line.split(":", 1)[1].strip()
    return "unknown"

def snapshot(label):
    usage = resource.getrusage(resource.RUSAGE_SELF)
    print(
        f"{label}: "
        f"VmSize={status_value('VmSize')} "
        f"VmRSS={status_value('VmRSS')} "
        f"minflt={usage.ru_minflt} "
        f"majflt={usage.ru_majflt}"
    )

snapshot("before")

buf = mmap.mmap(
    -1,
    SIZE,
    flags=mmap.MAP_PRIVATE | mmap.MAP_ANONYMOUS,
    prot=mmap.PROT_READ | mmap.PROT_WRITE,
)
if hasattr(buf, "madvise") and hasattr(mmap, "MADV_NOHUGEPAGE"):
    buf.madvise(mmap.MADV_NOHUGEPAGE)

snapshot("after mmap")

for offset in range(0, SIZE, PAGE):
    buf[offset] = 1

snapshot("after touch")
print(f"pages touched={SIZE // PAGE}, page_size={PAGE}")
PY

预期输出

text
before: VmSize=<N> kB VmRSS=<N> kB minflt=<N> majflt=<N>
after mmap: VmSize=<约增加 131072 kB> VmRSS=<变化很小> minflt=<小幅变化> majflt=<通常不变>
after touch: VmSize=<基本不变> VmRSS=<显著增加> minflt=<显著增加> majflt=<通常为 0 或不变>
pages touched=<N> page_size=<N>

多数 4 KiB 页系统会触碰约 32768 个页面,但透明大页、解释器自身活动和内核记账会让实际 fault 增量与页数不完全相等。关键现象不是某个固定数字,而是 VmSize 在建立映射时先增长,RSS 与 minor fault 在真正逐页写入后才明显增长。

为什么这里几乎看不到 major fault

匿名新页没有旧内容需要从文件读回,首次写入时内核可以直接提供清零页,因此通常只产生 minor fault。major fault 更常见于文件映射页已不在页缓存、可执行文件或共享库页面需要从存储读取,或被换出的匿名页需要从 swap 读回。

因此,不要用“访问一个大文件一次”作为稳定的 major fault 教学实验:如果页面已经在页缓存中,仍可能只有 minor fault。要诊断线上 major fault,应结合 /proc/<PID>/stat、pidstat -r、perf 或监控指标观察趋势,并同时确认磁盘 I/O 与 swap 活动。

用实验结果判断内存问题

如果进程只是 mmap 了很大的区域而尚未触碰,虚拟内存规模可能很大,但 RSS 仍低,这本身不代表物理内存压力。相反,逐页写入后 RSS 持续上升,说明页面已经实际驻留;若系统随后出现大量 major fault、swap I/O 与延迟抖动,才需要继续检查内存回收和换页压力。

缺页异常是按需分页的入口,不等于错误。判断性能影响时,先分清 minor 与 major,再把 fault 速率与 RSS、回收、swap 和 I/O 延迟放在同一时间轴上看。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

观察缺页异常与按需分配

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通