P2P 与分布式存储 / 系统课时

文件、块和对象接口如何影响设计

文件、块和对象接口如何影响设计

同样是保存 100 MB 数据,文件存储看到的是路径和目录,块存储看到的是一串逻辑块地址,对象存储看到的则是对象键和完整对象。接口不同,会直接改变元数据放在哪里、应用怎样更新数据,以及系统扩容时需要移动什么。

学习目标

  • 区分文件路径、逻辑块地址和对象键三种寻址方式。
  • 判断三类接口对元数据、更新粒度和分布式扩容的影响。
  • 根据数据库、共享目录和海量静态文件等场景选择合适接口。

三种接口暴露的寻址单位不同

文件接口通常以路径寻址,例如 /project/video/a.mp4。路径不仅标识数据,还依赖目录层级、文件名和权限等元数据。客户端执行 open、read、write 时,文件系统需要先把路径解析到具体文件,再定位文件内部偏移。

块接口不理解“文件”。操作系统看到的更接近一个可随机读写的逻辑磁盘,例如 /dev/vdb,上层使用逻辑块地址访问扇区或块。假设块大小为 4 KiB,一个 100 MiB 逻辑卷包含 25,600 个 4 KiB 块;文件系统、数据库页结构等更高层语义由客户端自己管理。

对象接口通常使用 bucket 与 key,例如 bucket 为 images、key 为 2026/10/a.jpg。这里的斜杠通常只是 key 字符的一部分,并不意味着服务端一定存在真实目录。一次 GET 或 PUT 面向完整对象,对象还可以携带内容类型、自定义标签等元数据。

文件、块与对象三种存储接口的寻址和元数据关系

下面的 Python 示例把三种寻址方式压缩成可运行模型,重点观察同一段业务数据在接口层暴露出的地址不同。

python
from dataclasses import dataclass

@dataclass
class Access:
    interface: str
    address: str
    update_unit: str

accesses = [
    Access("file", "/project/video/a.mp4", "byte range in file"),
    Access("block", "LBA 1024-1279", "4 KiB blocks"),
    Access("object", "images/2026/10/a.jpg", "whole object"),
]

for item in accesses:
    print(f"{item.interface}: {item.address} -> {item.update_unit}")

预期输出:

text
file: /project/video/a.mp4 -> byte range in file
block: LBA 1024-1279 -> 4 KiB blocks
object: images/2026/10/a.jpg -> whole object

真实系统的 API 会更复杂,但这个模型抓住了设计差异:文件接口保留文件语义,块接口只暴露地址空间,对象接口直接暴露独立对象。

更新粒度决定写入路径

文件接口通常允许按偏移修改。例如一个 1 GiB 日志文件追加 4 KiB 数据,不需要重新上传整个文件;文件系统只需修改相关数据块和文件长度等元数据。因此共享目录、用户主目录和需要频繁追加的文件适合文件语义。

块接口的随机写能力更直接。数据库若使用 16 KiB 页,一次页更新可以映射到连续的若干底层块,而不需要理解文件内容。数据库还能自行控制缓存、预写日志和刷盘顺序,所以关系数据库常把块设备作为底层持久化介质。

对象接口更偏向“替换对象”。如果一个 100 MiB 对象只改中间 4 KiB,典型对象 API 并不提供与本地文件完全等价的任意原地覆盖语义,应用往往需要重新生成对象,或者把数据拆成较小对象后只替换其中一份。因此对象大小设计会直接影响更新成本。

元数据放在哪里会影响扩容

文件系统需要维护目录、文件属性、权限以及路径到数据位置的映射。如果有 1 亿个小文件,真正先形成压力的可能不是容量,而是元数据服务的目录查询和 inode 管理。扩容时还要保证目录命名空间与数据节点之间保持一致。

块存储的核心元数据更接近“逻辑块区间映射到哪些物理设备”。例如一个 1 TiB 逻辑卷可以被切成若干 extent,控制平面记录每个 extent 的副本位置。客户端上层的 /var/lib/db/data 文件名通常并不是块存储服务需要理解的内容。

对象存储则天然适合把 key 映射到分片或哈希空间。新增节点后,可以按哈希范围、分区表或一致性映射迁移部分对象,而不用维持传统目录树的强语义。对象彼此独立也使海量图片、备份和日志归档更容易横向扩容。

一个简单的容量估算能看出粒度差异:若保存 1 亿个平均 64 KiB 的对象,纯数据约为 5.96 TiB;即使每个对象额外需要 200 B 元数据,元数据总量也约 18.6 GiB。实际系统还会有索引、副本和日志开销,因此不能只按用户数据容量规划元数据节点。

根据访问方式选择接口

可以先看应用是否需要保留“文件”这一层语义,再看随机更新粒度。

场景 更合适的接口 关键原因
多台主机共享工程目录 文件 需要路径、目录和文件权限语义
MySQL、PostgreSQL 数据盘 块 需要低延迟随机读写,并由数据库管理页和 WAL
图片、视频、备份归档 对象 对象独立、容量大、便于跨节点扩展
虚拟机系统盘 块 客户端需要一个可格式化的逻辑磁盘
海量构建产物与日志归档 对象 常见模式是写入后整体读取,很少原地修改

如果业务既需要对象级扩容,又频繁改一个“大文件”中的很小区域,不应简单把整个大文件直接做成单对象。更常见的做法是把数据切成固定大小分片,例如 8 MiB 或 64 MiB 一片,再单独保存描述分片顺序的元数据;这样修改局部内容时只替换受影响的分片。

文件、块和对象不是三种不同介质,而是三种不同接口契约。设计存储系统时先明确客户端究竟需要路径语义、随机块地址,还是独立对象,再决定元数据服务、更新策略和分片扩容方式,通常比先选具体存储产品更可靠。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

文件、块和对象接口如何影响设计

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通