C / C++ / 系统课时

控制偏移、同步与文件状态

控制偏移、同步与文件状态

本节解决三个容易混在一起的问题:文件描述符当前写到哪里、数据何时只在内存中、何时要求落到持久化介质。你将用 lseek、fstat、fdatasync、fsync 与文件状态标志完成一组可验证实验,并掌握它们各自保证什么、不保证什么。

学习目标

  • 使用 lseek 读取和修改逻辑偏移,并解释稀疏文件为何会出现“空洞”
  • 区分页缓存中的可见数据与 fdatasync、fsync 提供的持久化语义
  • 使用 fstat 与 fcntl(F_GETFL) 检查文件状态和打开标志

分清偏移、缓存与持久化

普通文件打开后,内核会维护一个当前文件偏移。read、write 通常从这个偏移开始并在成功后推进;lseek 只改变偏移,本身不会读写数据。若把偏移移动到文件末尾之后再写入,中间未写入的范围形成逻辑空洞,读取时得到零字节,文件系统通常不必为这些零实际分配数据块。

write 成功说明数据已经被内核接受,并不等同于断电后仍然存在。数据通常先进入页缓存,再由文件系统和块设备异步回写。fdatasync 等待文件数据以及读取这些数据所必需的元数据完成同步;fsync 还要求与该文件相关的修改元数据完成同步,因此适合在权限、大小等元数据也需要明确持久化时使用。

文件偏移、页缓存与持久化介质的关系

用 lseek 与 fstat 观察逻辑状态

下面的程序先写入 ABC,再把偏移移动到第 8 个字节处写入 Z。因此逻辑文件大小变为 9 字节,而第 3~7 字节形成空洞。程序随后用 fstat 读取大小,用 fcntl(F_GETFL) 检查状态标志,再分别调用 fdatasync 和 fsync。

c
#define _POSIX_C_SOURCE 200809L
#include <errno.h>
#include <fcntl.h>
#include <stdio.h>
#include <stdlib.h>
#include <sys/stat.h>
#include <unistd.h>

static void die(const char *what) {
    perror(what);
    exit(EXIT_FAILURE);
}

static void write_all(int fd, const void *buf, size_t len) {
    const unsigned char *p = buf;
    while (len > 0) {
        ssize_t n = write(fd, p, len);
        if (n < 0) {
            if (errno == EINTR) {
                continue;
            }
            die("write");
        }
        p += n;
        len -= (size_t)n;
    }
}

int main(void) {
    int fd = open("state-demo.bin", O_CREAT | O_TRUNC | O_RDWR, 0644);
    if (fd == -1) {
        die("open");
    }

    write_all(fd, "ABC", 3);

    // 只移动逻辑偏移;直到后面的 write 才真正把文件扩展到 9 字节。
    if (lseek(fd, 8, SEEK_SET) == (off_t)-1) {
        die("lseek");
    }
    write_all(fd, "Z", 1);

    off_t offset = lseek(fd, 0, SEEK_CUR);
    struct stat st;
    if (offset == (off_t)-1 || fstat(fd, &st) == -1) {
        die("inspect");
    }

    int flags = fcntl(fd, F_GETFL);
    if (flags == -1) {
        die("fcntl");
    }

    printf("offset=%lld\n", (long long)offset);
    printf("size=%lld\n", (long long)st.st_size);
    printf("O_APPEND=%s\n", (flags & O_APPEND) ? "on" : "off");
    printf("O_SYNC=%s\n", (flags & O_SYNC) ? "on" : "off");

    // 先同步数据,再修改权限并用 fsync 覆盖文件元数据的持久化需求。
    if (fdatasync(fd) == -1) {
        die("fdatasync");
    }
    puts("fdatasync=ok");

    if (fchmod(fd, 0600) == -1 || fsync(fd) == -1) {
        die("fchmod/fsync");
    }
    puts("fsync-after-fchmod=ok");

    unsigned char buf[9];
    if (lseek(fd, 0, SEEK_SET) == (off_t)-1) {
        die("rewind");
    }
    ssize_t n = read(fd, buf, sizeof buf);
    if (n != (ssize_t)sizeof buf) {
        die("read");
    }

    fputs("bytes=", stdout);
    for (size_t i = 0; i < sizeof buf; ++i) {
        printf("%s%02x", i == 0 ? "" : " ", buf[i]);
    }
    putchar('\n');

    if (close(fd) == -1) {
        die("close");
    }
    return 0;
}

在 Linux 上保存为 state_demo.c 后编译并运行:

bash
cc -std=c11 -Wall -Wextra -O2 state_demo.c -o state_demo
./state_demo

预期输出:

text
offset=9
size=9
O_APPEND=off
O_SYNC=off
fdatasync=ok
fsync-after-fchmod=ok
bytes=41 42 43 00 00 00 00 00 5a

其中 00 是空洞被读取时返回的零。文件系统是否真的把这段范围存成稀疏块属于物理分配策略,不能只根据 st_size 判断;如果要观察实际占用,还需要结合文件系统能力与 st_blocks、du 等信息。

选择同步方式与打开标志

fdatasync 适合“数据内容必须可靠,但无关元数据可以稍后写回”的场景。fsync 适合需要同时推进文件数据和相关元数据持久化的提交点。若希望每次写入都采用同步完成语义,可以在 open 时使用 O_SYNC 或 O_DSYNC,但这会把同步成本摊到每次写操作上,吞吐和延迟通常都更差。

O_APPEND 则解决并发追加的定位问题:每次 write 都由内核在写入时把位置移动到文件末尾。对以 O_APPEND 打开的文件,即使先调用 lseek 修改了当前偏移,随后 write 仍按追加语义执行,因此不要把“先 seek 再 write”当作固定追加位置的方法。

识别边界与失败

lseek 只适用于可定位对象;对管道、FIFO 等对象调用通常以 ESPIPE 失败。fstat 返回的是内核当前掌握的文件元数据,它可以在数据尚未完成持久化时就反映新的 st_size,所以不能拿 fstat 成功或大小已变化来证明数据已经落盘。

持久化代码还必须检查 fsync、fdatasync 和 close 的错误返回。特别是写回阶段才暴露的 I/O 错误,可能直到同步或关闭时才被报告。正确的判断顺序是:用偏移和 fstat 验证逻辑状态,用同步调用建立持久化边界,再根据目录项是否也属于事务的一部分决定是否同步父目录。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

控制偏移、同步与文件状态

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通