P2P 与分布式存储 / 系统课时

容量与跨节点流量如何折算总成本

容量与跨节点流量如何折算总成本

同样保存 1 PiB 业务数据,三副本和纠删码的成本差异不只体现在磁盘数量。这里用一组明确的工作负载和价格假设,依次计算容量水位、写入放大、节点间传输与故障修复,再用恢复时限排除表面便宜但不可用的方案。

学习目标

  • 从净数据量、冗余倍率和容量水位算出应准备的原始容量。
  • 区分写入落盘量、跨节点写流量和故障修复流量。
  • 用月度成本与 24 小时修复目标比较三副本、RS(4,2) 和 RS(8,3)。

先统一数据规模与计费口径

假设系统长期保有 1 PiB = 1024 TiB 的有效业务数据,每月完整写入或替换 200 TiB 大对象;对象可以按完整纠删码条带编码,不涉及 4 KiB 局部覆盖。规划时要求原始容量使用率不超过 80%。

计量项 本例假设
原始容量月摊销 0.10 元/GiB·月,包含预留空闲容量
跨节点传输单位成本 0.02 元/GiB,按单向实际字节计
写入拓扑 独立接入网关编码,再把各份数据单跳发送到不同存储节点
故障情景 一个节点丢失 100 TiB 已存的物理数据
修复限速 跨节点修复有效总带宽 2 GiB/s

网关接收客户端数据的入口流量不计入跨节点流量;网关到存储节点的每份传输计一次。修复时由新节点直接向健康节点取数据,不再经过网关转发。这里的单位价格只是自建集群内部核算假设,并非云厂商报价。

把冗余倍率换成应备容量

三副本为每份数据保存三份完整拷贝,冗余倍率是 3。RS(k,m) 把数据分成 k 片并生成 m 片校验数据,完整条带的冗余倍率是 (k+m)/k。

计算顺序是:实际占盘 = 净数据量 × 冗余倍率;应备原始容量 = 实际占盘 ÷ 0.8。

配置 冗余倍率 实际占盘 应备原始容量
三副本 3.000 3072 TiB 3840 TiB
RS(4,2) 1.500 1536 TiB 1920 TiB
RS(8,3) 1.375 1408 TiB 1760 TiB

例如 RS(8,3) 的 11 片中有 8 片数据、3 片校验,1024 × 11 ÷ 8 = 1408 TiB;再除以 0.8,需准备 1760 TiB。表中的剩余 20% 是容量水位,不是额外的纠删码校验片。实际采购还要按硬盘与节点规格向上取整,并为不满条带、元数据和迁移临时空间留余量。

分开统计写入放大和节点间流量

写入放大在这里定义为“存储节点实际写入字节数 ÷ 业务完整对象字节数”,不把存储引擎压缩、日志或后台整理计算进去。由于本例网关不存放数据,每一份拷贝或编码片都需要发送到存储节点,所以跨节点写入字节数恰好等于总落盘字节数。

配置 每写 1 TiB 的落盘量 月落盘量 月跨节点写流量
三副本 3 TiB 600 TiB 600 TiB
RS(4,2) 1.5 TiB 300 TiB 300 TiB
RS(8,3) 1.375 TiB 275 TiB 275 TiB

以一个 8 GiB 对象为例,三副本向三个节点各写 8 GiB,累计 24 GiB;RS(4,2) 生成六片各 2 GiB,发送总量为 12 GiB。若改用“首副本先落在存储主节点、再转发给另外两个节点”的拓扑,三副本的存储节点之间复制流量会是每 1 GiB 业务数据 2 GiB;不能把这个口径与表中网关到节点的口径混用。

计算单节点损坏后的恢复代价

普通三副本重建丢失的 100 TiB 时,从健康副本直接传输 100 TiB 到替换节点。传统 RS 编码若丢失一片,通常要从 k 个健康节点各读取与丢失片等大的编码片,再在目标端恢复一片。因此,丢失物理数据量为 100 TiB 时,RS(4,2) 读取 400 TiB,RS(8,3) 读取 800 TiB。

三副本与 RS(4,2) 的完整对象写入及单片修复数据流对照

配置 丢失的物理数据 修复跨节点读取量 2 GiB/s 理论耗时
三副本 100 TiB 100 TiB 14.2 小时
RS(4,2) 100 TiB 400 TiB 56.9 小时
RS(8,3) 100 TiB 800 TiB 113.8 小时

计算示例:RS(4,2) 需传 400 × 1024 GiB,除以 2 GiB/s,再除以 3600 秒/小时,得到约 56.9 小时。三者都要向新节点写回 100 TiB,但纠删码额外消耗健康节点的读 I/O 和解码 CPU。这里按标准 RS 重建估算,未计网络重传,也未使用局部修复码或专门优化的修复算法。

如果要求 24 小时内修完,仅网络这一项所需平均有效带宽依次至少是 1.19、4.74、9.48 GiB/s。2 GiB/s 的预算只够三副本;纠删码是否容忍更多分片同时故障,也不能替代对恢复窗口和故障域的检查。

折算月度费用并决定选型

容量月费按“应备原始容量 × 1024 × 0.10”计算;正常月的内部网络费按“月跨节点写流量 × 1024 × 0.02”计算。再把一次 100 TiB 物理数据丢失产生的修复流量计入故障月:

配置 容量月费 正常写流量费 正常月合计 含一次修复的故障月
三副本 393216 元 12288 元 405504 元 407552 元
RS(4,2) 196608 元 6144 元 202752 元 210944 元
RS(8,3) 180224 元 5632 元 185856 元 202240 元

RS(8,3) 在这组价格与大对象负载下正常月最省,比 RS(4,2) 少 16896 元;但它在本例单节点损坏后的读取量翻倍,修复时间约 113.8 小时,达不到 24 小时要求。

实际落地时,先按 4 KiB 局部覆盖写入、完整大对象写入、单节点故障恢复 三组负载分别测量物理写字节、跨节点字节、读写延迟和 CPU;再把实际计费的跨机架或跨可用区费用、磁盘 IOPS、能耗及硬件故障频率补进模型。若修复限速不能提高而 24 小时是硬指标,本例应先选择三副本;若可以增加修复带宽,再比较两种纠删码的总成本与故障域放置限制。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

容量与跨节点流量如何折算总成本

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通