P2P 与分布式存储 / 系统课时
容量与跨节点流量如何折算总成本
容量与跨节点流量如何折算总成本
同样保存 1 PiB 业务数据,三副本和纠删码的成本差异不只体现在磁盘数量。这里用一组明确的工作负载和价格假设,依次计算容量水位、写入放大、节点间传输与故障修复,再用恢复时限排除表面便宜但不可用的方案。
学习目标
- 从净数据量、冗余倍率和容量水位算出应准备的原始容量。
- 区分写入落盘量、跨节点写流量和故障修复流量。
- 用月度成本与 24 小时修复目标比较三副本、RS(4,2) 和 RS(8,3)。
先统一数据规模与计费口径
假设系统长期保有 1 PiB = 1024 TiB 的有效业务数据,每月完整写入或替换 200 TiB 大对象;对象可以按完整纠删码条带编码,不涉及 4 KiB 局部覆盖。规划时要求原始容量使用率不超过 80%。
| 计量项 | 本例假设 |
|---|---|
| 原始容量月摊销 | 0.10 元/GiB·月,包含预留空闲容量 |
| 跨节点传输单位成本 | 0.02 元/GiB,按单向实际字节计 |
| 写入拓扑 | 独立接入网关编码,再把各份数据单跳发送到不同存储节点 |
| 故障情景 | 一个节点丢失 100 TiB 已存的物理数据 |
| 修复限速 | 跨节点修复有效总带宽 2 GiB/s |
网关接收客户端数据的入口流量不计入跨节点流量;网关到存储节点的每份传输计一次。修复时由新节点直接向健康节点取数据,不再经过网关转发。这里的单位价格只是自建集群内部核算假设,并非云厂商报价。
把冗余倍率换成应备容量
三副本为每份数据保存三份完整拷贝,冗余倍率是 3。RS(k,m) 把数据分成 k 片并生成 m 片校验数据,完整条带的冗余倍率是 (k+m)/k。
计算顺序是:实际占盘 = 净数据量 × 冗余倍率;应备原始容量 = 实际占盘 ÷ 0.8。
| 配置 | 冗余倍率 | 实际占盘 | 应备原始容量 |
|---|---|---|---|
| 三副本 | 3.000 | 3072 TiB | 3840 TiB |
| RS(4,2) | 1.500 | 1536 TiB | 1920 TiB |
| RS(8,3) | 1.375 | 1408 TiB | 1760 TiB |
例如 RS(8,3) 的 11 片中有 8 片数据、3 片校验,1024 × 11 ÷ 8 = 1408 TiB;再除以 0.8,需准备 1760 TiB。表中的剩余 20% 是容量水位,不是额外的纠删码校验片。实际采购还要按硬盘与节点规格向上取整,并为不满条带、元数据和迁移临时空间留余量。
分开统计写入放大和节点间流量
写入放大在这里定义为“存储节点实际写入字节数 ÷ 业务完整对象字节数”,不把存储引擎压缩、日志或后台整理计算进去。由于本例网关不存放数据,每一份拷贝或编码片都需要发送到存储节点,所以跨节点写入字节数恰好等于总落盘字节数。
| 配置 | 每写 1 TiB 的落盘量 | 月落盘量 | 月跨节点写流量 |
|---|---|---|---|
| 三副本 | 3 TiB | 600 TiB | 600 TiB |
| RS(4,2) | 1.5 TiB | 300 TiB | 300 TiB |
| RS(8,3) | 1.375 TiB | 275 TiB | 275 TiB |
以一个 8 GiB 对象为例,三副本向三个节点各写 8 GiB,累计 24 GiB;RS(4,2) 生成六片各 2 GiB,发送总量为 12 GiB。若改用“首副本先落在存储主节点、再转发给另外两个节点”的拓扑,三副本的存储节点之间复制流量会是每 1 GiB 业务数据 2 GiB;不能把这个口径与表中网关到节点的口径混用。
计算单节点损坏后的恢复代价
普通三副本重建丢失的 100 TiB 时,从健康副本直接传输 100 TiB 到替换节点。传统 RS 编码若丢失一片,通常要从 k 个健康节点各读取与丢失片等大的编码片,再在目标端恢复一片。因此,丢失物理数据量为 100 TiB 时,RS(4,2) 读取 400 TiB,RS(8,3) 读取 800 TiB。

| 配置 | 丢失的物理数据 | 修复跨节点读取量 | 2 GiB/s 理论耗时 |
|---|---|---|---|
| 三副本 | 100 TiB | 100 TiB | 14.2 小时 |
| RS(4,2) | 100 TiB | 400 TiB | 56.9 小时 |
| RS(8,3) | 100 TiB | 800 TiB | 113.8 小时 |
计算示例:RS(4,2) 需传 400 × 1024 GiB,除以 2 GiB/s,再除以 3600 秒/小时,得到约 56.9 小时。三者都要向新节点写回 100 TiB,但纠删码额外消耗健康节点的读 I/O 和解码 CPU。这里按标准 RS 重建估算,未计网络重传,也未使用局部修复码或专门优化的修复算法。
如果要求 24 小时内修完,仅网络这一项所需平均有效带宽依次至少是 1.19、4.74、9.48 GiB/s。2 GiB/s 的预算只够三副本;纠删码是否容忍更多分片同时故障,也不能替代对恢复窗口和故障域的检查。
折算月度费用并决定选型
容量月费按“应备原始容量 × 1024 × 0.10”计算;正常月的内部网络费按“月跨节点写流量 × 1024 × 0.02”计算。再把一次 100 TiB 物理数据丢失产生的修复流量计入故障月:
| 配置 | 容量月费 | 正常写流量费 | 正常月合计 | 含一次修复的故障月 |
|---|---|---|---|---|
| 三副本 | 393216 元 | 12288 元 | 405504 元 | 407552 元 |
| RS(4,2) | 196608 元 | 6144 元 | 202752 元 | 210944 元 |
| RS(8,3) | 180224 元 | 5632 元 | 185856 元 | 202240 元 |
RS(8,3) 在这组价格与大对象负载下正常月最省,比 RS(4,2) 少 16896 元;但它在本例单节点损坏后的读取量翻倍,修复时间约 113.8 小时,达不到 24 小时要求。
实际落地时,先按 4 KiB 局部覆盖写入、完整大对象写入、单节点故障恢复 三组负载分别测量物理写字节、跨节点字节、读写延迟和 CPU;再把实际计费的跨机架或跨可用区费用、磁盘 IOPS、能耗及硬件故障频率补进模型。若修复限速不能提高而 24 小时是硬指标,本例应先选择三副本;若可以增加修复带宽,再比较两种纠删码的总成本与故障域放置限制。