P2P 与分布式存储 / 系统课时
一次对象读写经过哪些服务节点
一次对象读写经过哪些服务节点
一次对象写入并不是客户端把字节直接发给某块磁盘。典型分布式对象存储会把入口鉴权、元数据查询、数据放置和实际读写拆到不同服务。沿一次写入和读取请求追踪这些节点,就能分清控制面负责“决定放哪里”,数据面负责“真正搬运数据”。
学习目标
- 说清客户端、网关、元数据服务和存储节点在一次对象读写中的职责。
- 区分控制面请求与数据面流量,判断哪些节点真正承载对象字节。
- 根据对象标识追踪一次写入和读取,并识别数据放置决策发生的位置。
先建立四类节点模型
用一个三存储节点实验模型即可覆盖最基本的数据路径。客户端访问统一入口 gateway-1;元数据服务 meta-1 保存对象到存储位置的映射;后端有 storage-1、storage-2、storage-3 三个数据节点。假设对象键为 photos/a.jpg,副本数设为 2,那么一次写入最终会落到两个存储节点。
| 节点 | 主要职责 | 是否保存对象正文 |
|---|---|---|
| Client | 发起 PUT、GET 请求 | 否 |
| Gateway | 鉴权、路由、限流、转发 | 通常否 |
| Metadata Service | 查询对象位置、版本和放置结果 | 否 |
| Storage Node | 保存并返回对象数据 | 是 |
这里最容易混淆的是元数据服务:它通常保存“对象在哪里”,而不是保存对象本身。例如元数据记录可以是 photos/a.jpg -> [storage-1, storage-3], version=17,真正的 JPEG 字节仍在存储节点。

写入时先决定位置再搬数据
以 PUT /photos/a.jpg、对象大小 8 MiB、副本数 2 为例,一次典型写入可拆成五步。
- 客户端把对象键、长度、认证信息以及对象内容提交给网关。
- 网关完成鉴权,并向元数据服务申请写入位置。
- 放置逻辑根据节点容量、故障域和副本数返回
storage-1、storage-3。 - 8 MiB 对象数据被写入这两个节点;如果采用网关中转,网关承载完整数据流,如果采用预签名或重定向模式,客户端可能直接写数据节点。
- 两个副本达到系统要求的确认条件后,元数据记录版本与位置,网关向客户端返回成功。
这个过程中,步骤 2、3 传输的只是对象键、节点 ID、版本等小体量信息,属于控制面;步骤 4 搬运 8 MiB 对象正文,属于数据面。若副本数为 2,后端实际写入量约为 16 MiB,不计协议头、校验和与内部日志开销。
读取时先定位副本再选择节点
读取 GET /photos/a.jpg 时,客户端通常只知道对象键,不知道对象在哪台机器。网关首先查询元数据,得到 storage-1 和 storage-3 两个可用副本,然后根据健康状态、延迟或负载选择其中一个。
假设 storage-1 当前读取延迟为 4 ms,storage-3 为 18 ms,调度器选择 storage-1。元数据查询可能只返回几百字节,而数据节点随后返回完整的 8 MiB 对象。若 storage-1 超时,系统可以退避到 storage-3,客户端仍使用同一个对象键,不需要感知副本位置变化。
错误理解是“读取一定经过所有副本”。正确做法通常是选择一个健康副本提供数据;只有做纠删码重建、校验恢复或特定一致性检查时,读取路径才可能同时访问多个数据节点。
用控制面和数据面判断故障位置
排查请求时,可以先看故障发生在哪一面。若元数据服务不可用,即使三个存储节点都健康,客户端也可能因为不知道对象位置而无法读取;这属于控制面故障。若元数据查询正常返回 storage-1,但该节点磁盘超时,则属于数据面故障,系统应尝试其他副本。
一个实用判断方法是记录三个时间点:网关收到请求、元数据定位完成、首个数据字节返回。例如总延迟 120 ms,其中元数据定位 3 ms、数据节点首字节 112 ms,那么优化重点应放在存储节点或网络数据路径,而不是元数据查询。
理解这条路径后,再看到副本、分片或纠删码时,可以把它们放回同一个模型:控制面决定对象应该落到哪些节点,数据面负责把对象或数据块真正写入这些节点,并在读取时按位置和健康状态取回数据。