P2P 与分布式存储 / 系统课时

副本与纠删码该如何按冷热数据组合

副本与纠删码该如何按冷热数据组合

当小对象频繁覆盖、大对象长期只读时,统一采用三副本会浪费容量,全部改成纠删码又可能拉高写入尾延迟。可以先用可观测的读写负载划分冷热区,再比较容量、故障域和延迟,最终得到可验证、可回滚的混合布局。

学习目标

  • 根据对象大小、覆盖频率和访问时延要求划分热数据与冷数据。
  • 计算三副本与 4+2 纠删码的容量和节点失效边界。
  • 用同条件性能实验制定选型门槛,并设计安全的冷热迁移。

先把访问模式量化

以下是一个假设的 100 TiB 逻辑数据集,数值仅用于演示选型过程,不是冷热划分的行业固定阈值。

维度 热区 冷区
逻辑容量与典型对象 20 TiB;256 KiB 80 TiB;64 MiB
请求模式 每秒 300 次整对象覆盖 PUT、500 次 GET 每秒 30 次顺序 GET,30 天无覆盖写
正常状态时延目标 覆盖 PUT 的 p99 ≤30 ms 完整 GET 的 p99 ≤200 ms
候选布局 三副本 4+2 Reed–Solomon 纠删码

对象年龄不能单独决定冷热:一份 30 天没修改但每天被读取几千次的文件,可能仍要求低延迟;一份从不读取却持续被小幅修改的对象,也不适合直接迁入写放大较高的布局。应从请求日志统计对象大小的 P50/P95、每对象读写次数、整对象覆盖比例、读写字节数及 p99 延迟,并至少覆盖业务高峰。

这里的 PUT 表示对象接口的整对象覆盖,不要把它等同于块存储中的 4 KiB 原地修改;后者涉及额外的局部写机制和不同的放大成本。

算出容量收益与故障边界

三副本的理论物理容量是逻辑数据的 3 倍。4+2 纠删码将数据拆成 4 个数据片、2 个校验片,理论容量放大是 6÷4=1.5 倍;在任意 2 片不可用且其余分片健康时,仍可恢复原数据。

下面的 Python 3 示例只计算理论存储占用,未包含元数据、分片填充、快照、修复预留和迁移期间的双份数据。

python
# 单位为 TiB;按数据冷热比例对不同布局计费
hot, cold = 20, 80
ec_factor = (4 + 2) / 4
layouts = {
    "全三副本": (3, 3),
    "全4+2纠删码": (ec_factor, ec_factor),
    "冷热组合": (3, ec_factor),
}
for name, (hot_factor, cold_factor) in layouts.items():
    total = hot * hot_factor + cold * cold_factor
    print(f"{name}: {total:.0f} TiB")

预期输出:

text
全三副本: 300 TiB
全4+2纠删码: 150 TiB
冷热组合: 180 TiB

冷热组合相比全三副本少占 120 TiB(40%),但比全纠删码多占 30 TiB;多出来的容量是在购买热区的覆盖写性能与较简单的读取路径。

容错比较必须指定故障域:三副本至少放在 3 个独立节点上,4+2 的 6 个分片至少分散到 6 个独立节点上,才能把“两节点失效仍可读”作为此示例的验收条件。若要承受两个机架同时故障,必须重新按机架布置分片,而不是将节点级的容错数字直接照搬。

在同一负载下检验时延与恢复

用同型号磁盘、6 个存储节点、相同客户端并发和 10 GbE 网络分别测试两种布局。每组先预热 10 分钟,再记录 30 分钟;覆盖写固定 300 次/秒,冷区顺序读固定 30 次/秒,并在独立轮次注入一个存储节点故障。

观测指标 三副本 4+2 纠删码 验收门槛
256 KiB 覆盖 PUT p99 18 ms 52 ms 热区 ≤30 ms
64 MiB 完整 GET p99 115 ms 155 ms 冷区 ≤200 ms
节点故障后冷区 GET p99 130 ms 265 ms 降级读 ≤300 ms

表中数值是教学假设的实验记录,不代表任何特定产品的真实性能。按这份记录,热区不能使用当前 4+2 配置,而冷区在正常读与降级读条件下均通过。正式选型还需记录实际吞吐、CPU、跨节点网络流量、重建完成时间,并验证修复时的业务 p99;例如给单节点修复设定 6 小时上限,再确认限速后仍能达到。

让冷热切换成为有版本保护的迁移

可以先把“连续 14 天无覆盖、最近 7 天读取不超过 7 次且对象至少 1 MiB”设为候选冷却规则,再依据实际对象大小分布和编码效率调整,不能把 1 MiB 当作普适的纠删码分界线。

  1. 记录对象的不可变版本,例如 v10,按该版本读取完整内容,避免编码过程中混入并发覆盖数据。
  2. 在 6 个独立节点生成并持久化 4 个数据片和 2 个校验片,核验分片校验和与可解码性。
  3. 通过带版本条件的元数据提交,把 v10 的读取位置从三副本切到纠删码;若已有新版本 v11,放弃这次旧版本位置切换。
  4. 切换成功后暂留旧副本,例如保留 24 小时并确认在途读取结束,再回收;失败则仍通过旧副本服务。
  5. 后续覆盖写生成新的热区版本;如果只是读取次数上升,优先评估缓存,持续变热后再迁回三副本,避免频繁往返。

三副本热区到纠删码冷区的版本化迁移和回热路径

用容量与服务指标一起定案

对这份样例,推荐热区使用三副本、冷区使用 4+2,并把切换规则作为可调整策略。上线验收至少同时满足:热区覆盖 PUT p99 ≤30 ms、冷区完整 GET p99 ≤200 ms、单节点故障后冷区 GET p99 ≤300 ms、修复时间 ≤6 小时,以及按节点故障域进行两节点失效演练。

容量预算不能直接按 180 TiB 采购:若规划长期利用率不超过 70%,仅按理论编码占用计算就需要至少 180÷0.7≈257.1 TiB 的物理容量,还要进一步核算小对象与条带尾部开销、迁移双份数据、元数据和修复安全余量。若实测读写 p99 或故障恢复不达标,应调整编码参数、冷却阈值或保留更多热副本,而不是仅按理论节省量决定布局。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

副本与纠删码该如何按冷热数据组合

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通