操作系统 / 系统课时
文件映射为什么适合大文件访问
文件映射为什么适合大文件访问
处理数百 MB 甚至数 GB 的文件时,关键并不是“把文件一次读进内存”,而是只让真正访问到的页进入进程工作集。mmap 把文件区间映射到虚拟地址空间,后续由缺页机制按需装入页面,尤其适合随机访问和局部访问。
学习目标
- 理解文件映射按页访问、缺页装入与页缓存之间的关系。
- 区分
mmap与read/write在数据路径上的主要差异。 - 判断大文件场景中什么时候映射更合适,什么时候顺序读写更简单。
映射不是把整个文件复制进内存
调用 mmap 成功后,内核首先建立的是一段虚拟地址区间和文件偏移的映射关系,并不会因此把整个文件内容复制到匿名用户缓冲区。进程第一次访问某个尚未建立有效页表项的地址时,会触发缺页;内核再把对应文件页准备到页缓存,并把该页映射进进程页表。
因此,一个 20 GB 文件可以被映射到足够大的 64 位进程地址空间,而进程的常驻内存只需要覆盖近期真正访问的那部分页面。顺序访问时,内核还可能进行预读;随机访问时,则通常只围绕触碰到的位置建立工作集。

mmap 的优势不是“文件完全不经过内核”,文件页仍由内核管理,也仍可能从存储设备读入页缓存。它减少的是常规 read 路径中“页缓存到用户缓冲区”的显式拷贝,并让程序可以像访问数组一样按偏移读取文件内容。
与 read 和 write 的路径差异
对普通缓存 I/O 而言,read 通常先让文件页进入页缓存,再把所需字节复制到用户提供的缓冲区;write 则通常先把用户缓冲区内容复制进页缓存,脏页之后再由写回机制落盘。
文件映射走的是另一种接口。读取 MAP_PRIVATE 或 MAP_SHARED 文件映射时,进程直接访问映射到自身地址空间的文件页。写入 MAP_SHARED 映射时,修改的是共享的文件页,页面会被标记为脏,之后由内核写回;需要明确请求同步时可以使用 msync,但它不等同于事务或数据库式提交。
| 访问方式 | 用户态看到的对象 | 常见额外内存拷贝 | 适合场景 |
|---|---|---|---|
read |
自己管理的缓冲区 | 页缓存到用户缓冲区 | 流式顺序处理、协议式读取 |
write |
自己管理的缓冲区 | 用户缓冲区到页缓存 | 明确控制输出块大小 |
mmap |
一段虚拟地址 | 不需要为每次访问再复制到独立缓冲区 | 大文件随机访问、稀疏访问、索引式读取 |
用最小程序映射一个大文件
下面的程序创建一个 256 MiB 稀疏文件,映射整个区间,但只读取开头、中间和末尾三个字节。它展示的是“地址区间可以很大,而程序只按实际访问位置取页”的使用方式。
#define _GNU_SOURCE
#include <fcntl.h>
#include <stdio.h>
#include <stdlib.h>
#include <sys/mman.h>
#include <unistd.h>
int main(void) {
const size_t file_size = 256UL * 1024 * 1024;
char path[] = "/tmp/mmap-demo-XXXXXX";
int fd = mkstemp(path);
if (fd == -1) {
perror("mkstemp");
return 1;
}
if (ftruncate(fd, (off_t)file_size) == -1) {
perror("ftruncate");
close(fd);
unlink(path);
return 1;
}
unsigned char *p = mmap(NULL, file_size, PROT_READ, MAP_PRIVATE, fd, 0);
if (p == MAP_FAILED) {
perror("mmap");
close(fd);
unlink(path);
return 1;
}
/* 只触碰三个位置,避免主动扫描整个映射区间。 */
unsigned int checksum = p[0] + p[file_size / 2] + p[file_size - 1];
printf("mapped=%zu bytes, sampled=3, checksum=%u\n",
file_size, checksum);
munmap(p, file_size);
close(fd);
unlink(path);
return 0;
}将源码保存为 mmap_demo.c,然后编译并运行:
cc -O2 -Wall -Wextra mmap_demo.c -o mmap_demo
./mmap_demo预期输出:
mapped=268435456 bytes, sampled=3, checksum=0这里的文件由 ftruncate 扩展,新区域读取为零,所以校验和为 0。示例没有声称只有三页进入内存,因为文件系统、预读策略和页大小都可能使实际驻留页数不同;要分析真实缺页行为,应结合 perf stat、/usr/bin/time -v 或进程缺页指标观察。
大文件场景的选择边界
mmap 最适合“文件很大,但访问具有局部性”的模式,例如数据库索引、只读词典、模型权重的局部读取、二进制文件随机定位。程序不必维护“读到哪个缓冲区、缓冲区里对应哪个文件偏移”的额外状态,文件偏移可以直接转换成内存地址。
如果任务只是从头到尾顺序消费一次文件,read 配合较大的复用缓冲区通常更直接,也更容易控制错误处理和 I/O 节奏。大量随机缺页还可能造成不可预测的延迟,此时显式预读或异步 I/O 可能更合适。
还要注意映射文件被其他进程截短的风险:进程继续访问已超出当前文件末尾的映射页时,可能收到 SIGBUS。因此,长时间持有映射的程序应约束文件生命周期,不能把“映射成功”理解为后续访问永久安全。