操作系统 / 系统课时

分清缓冲、回写与 fsync

分清缓冲、回写与 fsync

一次 write() 返回成功,并不等于数据已经落到掉电后仍存在的介质。本篇把用户态缓冲、内核页缓存、后台回写与 fsync 串成一条写入路径,并说明同步持久化为什么会把设备抖动直接暴露成尾延迟。

学习目标

  • 区分用户缓冲、页缓存、后台回写与同步刷盘各自负责的阶段
  • 解释 write()、后台回写和 fsync() 返回时分别能保证什么
  • 判断哪些场景需要同步持久化,以及它为什么容易放大尾延迟

四个阶段不要混为一谈

应用写文件时,数据可能先停在语言运行库或标准库的用户态缓冲中;只有缓冲被刷新后,系统调用才把字节交给内核。对普通缓冲 I/O,内核通常把数据放进页缓存并把对应页面标记为脏页,此时 write() 就可能返回。

脏页不会一直留在内存。内核会依据脏页比例、时间阈值和内存压力等条件安排后台回写,把数据送到文件系统、块层和设备。后台回写的目标是逐步清理脏页,不等于应用获得了某个事务点的持久化确认。

从用户缓冲到稳定存储的写入路径

可以把四层保证理解为:用户缓冲决定“数据是否已经进入内核”,页缓存决定“内核是否已接收并暂存”,回写决定“脏数据是否被异步送出”,fsync 则用于在调用点等待该文件所需的数据与元数据完成同步。

用一个最小程序观察 fsync 边界

下面示例关闭 Python 文件对象的用户态缓冲,先执行一次写入,再显式调用 os.fsync()。它不能模拟突然断电,但可以准确展示两个不同的完成点。

python
from pathlib import Path
import os

path = Path("/tmp/anystack-fsync-demo.txt")

with path.open("wb", buffering=0) as f:
    f.write(b"record-1\n")
    print("write=done")

    # 等待该文件需要同步的数据与元数据完成持久化路径。
    os.fsync(f.fileno())
    print("fsync=done")

path.unlink()

预期输出:

text
write=done
fsync=done

write=done 只说明字节已经被内核接受;fsync=done 才代表调用方得到了同步完成确认。实际设备、文件系统和虚拟化层仍可能影响延迟,因此不要把两行输出之间的时间差当成固定值。

为什么 fsync 容易抬高尾延迟

异步写入可以把许多小写合并,让内核和设备自行选择更高效的时机;fsync 则在请求路径上建立等待点。只要此前积累了较多脏页、文件系统需要提交日志事务、设备队列拥塞,或底层介质发生内部整理,这次调用就可能等待更久。

因此平均延迟很低也不能说明同步写入稳定。数据库 WAL、消息日志和关键配置落盘更关心 P99、P999,因为一次慢 fsync 就可能直接变成一次慢提交。把每条业务记录都单独同步,通常比“批量写入后一次同步”产生更多设备屏障和提交开销。

fsync 也有边界

fsync(fd) 主要针对这个已打开文件。若程序刚创建文件或通过 rename() 原子替换文件,还要考虑父目录中的目录项是否需要单独同步;否则文件内容已经同步,并不自动等于“新名字在崩溃后一定存在”。

还要区分“操作系统已经把请求同步到存储设备”和“硬件在彻底掉电后一定保留数据”。现代设备通常有自己的缓存与持久化语义,可靠系统需要依赖设备正确实现刷新命令,并结合掉电保护、控制器配置和文件系统语义评估端到端保证。

选择同步策略时,关键不是“越多 fsync 越安全”,而是把业务提交点、文件系统持久化点和性能预算对齐:允许丢少量最近数据的日志可以批量同步,事务提交记录则应在对外确认成功之前完成所需的持久化。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

分清缓冲、回写与 fsync

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通