操作系统 / 系统课时

文件映射为什么适合大文件访问

文件映射为什么适合大文件访问

处理数百 MB 甚至数 GB 的文件时,关键并不是“把文件一次读进内存”,而是只让真正访问到的页进入进程工作集。mmap 把文件区间映射到虚拟地址空间,后续由缺页机制按需装入页面,尤其适合随机访问和局部访问。

学习目标

  • 理解文件映射按页访问、缺页装入与页缓存之间的关系。
  • 区分 mmap 与 read/write 在数据路径上的主要差异。
  • 判断大文件场景中什么时候映射更合适,什么时候顺序读写更简单。

映射不是把整个文件复制进内存

调用 mmap 成功后,内核首先建立的是一段虚拟地址区间和文件偏移的映射关系,并不会因此把整个文件内容复制到匿名用户缓冲区。进程第一次访问某个尚未建立有效页表项的地址时,会触发缺页;内核再把对应文件页准备到页缓存,并把该页映射进进程页表。

因此,一个 20 GB 文件可以被映射到足够大的 64 位进程地址空间,而进程的常驻内存只需要覆盖近期真正访问的那部分页面。顺序访问时,内核还可能进行预读;随机访问时,则通常只围绕触碰到的位置建立工作集。

mmap 按需加载与 read 数据路径对比

mmap 的优势不是“文件完全不经过内核”,文件页仍由内核管理,也仍可能从存储设备读入页缓存。它减少的是常规 read 路径中“页缓存到用户缓冲区”的显式拷贝,并让程序可以像访问数组一样按偏移读取文件内容。

与 read 和 write 的路径差异

对普通缓存 I/O 而言,read 通常先让文件页进入页缓存,再把所需字节复制到用户提供的缓冲区;write 则通常先把用户缓冲区内容复制进页缓存,脏页之后再由写回机制落盘。

文件映射走的是另一种接口。读取 MAP_PRIVATE 或 MAP_SHARED 文件映射时,进程直接访问映射到自身地址空间的文件页。写入 MAP_SHARED 映射时,修改的是共享的文件页,页面会被标记为脏,之后由内核写回;需要明确请求同步时可以使用 msync,但它不等同于事务或数据库式提交。

访问方式 用户态看到的对象 常见额外内存拷贝 适合场景
read 自己管理的缓冲区 页缓存到用户缓冲区 流式顺序处理、协议式读取
write 自己管理的缓冲区 用户缓冲区到页缓存 明确控制输出块大小
mmap 一段虚拟地址 不需要为每次访问再复制到独立缓冲区 大文件随机访问、稀疏访问、索引式读取

用最小程序映射一个大文件

下面的程序创建一个 256 MiB 稀疏文件,映射整个区间,但只读取开头、中间和末尾三个字节。它展示的是“地址区间可以很大,而程序只按实际访问位置取页”的使用方式。

c
#define _GNU_SOURCE
#include <fcntl.h>
#include <stdio.h>
#include <stdlib.h>
#include <sys/mman.h>
#include <unistd.h>

int main(void) {
    const size_t file_size = 256UL * 1024 * 1024;
    char path[] = "/tmp/mmap-demo-XXXXXX";

    int fd = mkstemp(path);
    if (fd == -1) {
        perror("mkstemp");
        return 1;
    }

    if (ftruncate(fd, (off_t)file_size) == -1) {
        perror("ftruncate");
        close(fd);
        unlink(path);
        return 1;
    }

    unsigned char *p = mmap(NULL, file_size, PROT_READ, MAP_PRIVATE, fd, 0);
    if (p == MAP_FAILED) {
        perror("mmap");
        close(fd);
        unlink(path);
        return 1;
    }

    /* 只触碰三个位置,避免主动扫描整个映射区间。 */
    unsigned int checksum = p[0] + p[file_size / 2] + p[file_size - 1];

    printf("mapped=%zu bytes, sampled=3, checksum=%u\n",
           file_size, checksum);

    munmap(p, file_size);
    close(fd);
    unlink(path);
    return 0;
}

将源码保存为 mmap_demo.c,然后编译并运行:

bash
cc -O2 -Wall -Wextra mmap_demo.c -o mmap_demo
./mmap_demo

预期输出:

text
mapped=268435456 bytes, sampled=3, checksum=0

这里的文件由 ftruncate 扩展,新区域读取为零,所以校验和为 0。示例没有声称只有三页进入内存,因为文件系统、预读策略和页大小都可能使实际驻留页数不同;要分析真实缺页行为,应结合 perf stat、/usr/bin/time -v 或进程缺页指标观察。

大文件场景的选择边界

mmap 最适合“文件很大,但访问具有局部性”的模式,例如数据库索引、只读词典、模型权重的局部读取、二进制文件随机定位。程序不必维护“读到哪个缓冲区、缓冲区里对应哪个文件偏移”的额外状态,文件偏移可以直接转换成内存地址。

如果任务只是从头到尾顺序消费一次文件,read 配合较大的复用缓冲区通常更直接,也更容易控制错误处理和 I/O 节奏。大量随机缺页还可能造成不可预测的延迟,此时显式预读或异步 I/O 可能更合适。

还要注意映射文件被其他进程截短的风险:进程继续访问已超出当前文件末尾的映射页时,可能收到 SIGBUS。因此,长时间持有映射的程序应约束文件生命周期,不能把“映射成功”理解为后续访问永久安全。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

文件映射为什么适合大文件访问

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通