P2P 与分布式存储 / 系统课时
用 k+m 计算容量开销与容错上限
用 k+m 计算容量开销与容错上限
给定一组纠删码参数和集群原始容量,可以计算数据实际占用多少磁盘、能提供多少逻辑存储空间,以及最多允许丢失多少分片。本课以 4+2、6+3、8+2 和三副本为例,完成容量与容错能力的定量比较,并用 Python 验证计算结果。
学习目标
- 理解纠删码中 k、m 的含义,计算存储放大系数与容量利用率。
- 根据原始容量计算理想有效容量,并与三副本进行定量比较。
- 区分分片丢失上限与节点、机架故障容忍能力,避免错误估算可用性。
从 k+m 推导容量开销
纠删码将一个数据条带编码为 k 个数据片和 m 个校验片,总共生成 k+m 个分片。其中,k 个数据片对应原始数据,m 个校验片提供冗余信息。
对于具有最大距离可分性质(MDS)的纠删码,例如常见的 Reed-Solomon 编码,只要任意 k 个分片仍然可用,就可以恢复原始数据。这意味着一个条带最多可以丢失 m 个分片。
假设原始条带数据大小为 D,各分片大小相等,忽略补齐、元数据和文件系统开销,则存储放大系数 A 与容量利用率 η 分别为:
存储放大系数表示写入 1 TiB 逻辑数据需要多少 TiB 物理空间。容量利用率则表示原始磁盘容量中有多少比例能够用于保存用户数据。
例如 EC 6+3:
- k=6:每个条带包含 6 个数据片。
- m=3:每个条带生成 3 个校验片。
- 分片总数为 9,存储放大系数为 9/6=1.5。
- 容量利用率为 6/9≈66.7%,校验数据占实际物理存储量的约 33.3%。
假设原始数据为 60 MiB,能够均匀划分为 6 个数据片,每片 10 MiB。编码后额外生成 3 个 10 MiB 校验片,总存储量为 90 MiB,其中 60 MiB 是数据片,30 MiB 是校验片。
用同一容量基准比较四种方案
设集群共有 1200 TiB 原始物理容量,全部节点容量相同,并且能够满足各编码方案的分片放置要求。
忽略预留空间与实际编码开销,理想有效容量的计算公式为:
三副本不使用纠删码,而是完整保存三份数据,因此其存储放大系数为 3,理想容量利用率为 1/3。
| 方案 | 存储放大系数 | 容量利用率 | 1200 TiB 原始容量对应的理想有效容量 | 最大分片或副本丢失数 |
|---|---|---|---|---|
| 三副本 | 3.00 | 33.3% | 400 TiB | 2 份完整副本 |
| EC 4+2 | 1.50 | 66.7% | 800 TiB | 2 片 |
| EC 6+3 | 1.50 | 66.7% | 800 TiB | 3 片 |
| EC 8+2 | 1.25 | 80.0% | 960 TiB | 2 片 |
4+2 和 6+3 的存储放大系数相同,但容错上限不同。6+3 需要九个分片位置,可以承受三个分片丢失;4+2 只需要六个分片位置,但只能承受两个分片丢失。
8+2 的空间利用率更高,代价是每个条带需要十个分片位置,同时只能容忍两个分片丢失。不能仅凭容量利用率判断它优于 6+3。
如果业务需要保存 120 TiB 逻辑数据,理想物理占用为:
三副本需要 360 TiB;EC 6+3 需要 180 TiB;EC 8+2 需要 150 TiB。因此,在这个数据规模下,6+3 相比三副本减少 180 TiB 的理想物理占用,即降低 50%。
需要注意,实际容量会受到条带补齐、对象大小、元数据、磁盘空间预留和数据分布不均等因素影响,表中数值只能作为容量规划的理论基准。
用 Python 复算容量与容错上限
下面的程序使用统一的原始容量与逻辑数据量,计算四种方案的放大系数、理想有效容量、物理占用和最大分片丢失数。
三副本在代码中借用 k=1、m=2 来表达三份完整副本的容量比例与最多丢失两份副本的性质,并不表示三副本使用了 1+2 纠删码。
def compare_storage(raw_tib: int, logical_tib: int) -> None:
plans = [
("三副本", 1, 2),
("EC 4+2", 4, 2),
("EC 6+3", 6, 3),
("EC 8+2", 8, 2),
]
for name, k, m in plans:
# 三副本仅借用 k=1、m=2 计算容量,并非纠删码编码。
amplification = (k + m) / k
usable = raw_tib / amplification
physical = logical_tib * amplification
print(
f"{name}: 放大={amplification:.2f}x, "
f"可用={usable:.0f}TiB, "
f"存{logical_tib}TiB占={physical:.0f}TiB, "
f"最多丢={m}片"
)
if __name__ == "__main__":
# 理想模型:不计空间预留、条带补齐和元数据开销。
compare_storage(1200, 120)预期输出:
三副本: 放大=3.00x, 可用=400TiB, 存120TiB占=360TiB, 最多丢=2片
EC 4+2: 放大=1.50x, 可用=800TiB, 存120TiB占=180TiB, 最多丢=2片
EC 6+3: 放大=1.50x, 可用=800TiB, 存120TiB占=180TiB, 最多丢=3片
EC 8+2: 放大=1.25x, 可用=960TiB, 存120TiB占=150TiB, 最多丢=2片程序只计算容量与冗余数量,不模拟编码、故障检测或数据重建。对于实际部署,还需要检查每个条带是否拥有足够的独立存储位置。
判断容错上限是否能覆盖真实故障
对于 MDS 纠删码,丢失 m 个或更少分片后仍可从剩余至少 k 个分片恢复数据;丢失 m+1 个分片后,通常无法仅凭该条带剩余分片恢复原始数据。
以 EC 6+3 为例,假设九个分片分别存放在九台不同的存储节点中,每台节点只保存该条带的一个分片,则最多三台节点同时故障时,该条带仍有至少六片可用于恢复。
如果九个分片分布在三个机架,每个机架三个分片,则结果发生变化:
- 一个机架故障:丢失 3 片,还剩 6 片,可以恢复。
- 两个机架故障:丢失 6 片,只剩 3 片,无法仅凭该条带恢复。
- 三台分别属于不同机架的节点故障:若各丢失一个分片,总共丢失 3 片,仍然可以恢复。
因此,同样是 6+3,能够容忍三台独立节点故障,并不意味着能够容忍三个机架故障。三副本也类似:只有三份完整副本位于独立故障域,才能保证对应故障域丢失两份副本后仍有一份存活。数据可恢复还不等于故障期间必然满足原有的写入仲裁条件。
把空间预留纳入实际选型
生产集群不能按理论有效容量直接存满。磁盘故障后需要在存活节点上重建分片,扩容和数据迁移也需要额外空间。
假设在 1200 TiB 原始容量中预留 20% 作为运行与修复空间,则可参与常规数据存储的原始容量预算为:
采用 EC 6+3 后,对应的规划逻辑容量为:
这比不预留空间时的理论值 800 TiB 少了 160 TiB。20% 是本算例的规划假设,并非所有系统通用的强制比例;实际预留量应结合最大故障域、重建目标时间和容量水位确定。
可以按下面的条件初步选择方案:
- 优先降低物理容量占用、对象较大且访问以顺序读写为主时,评估 EC 6+3 或 8+2。
- 希望保持 1.5 倍存储放大,又要求能够恢复任意三个分片丢失时,优先评估 EC 6+3,而不是 EC 4+2。
- 小对象随机覆盖写入频繁、低延迟要求较高,或者恢复过程需要尽量简单时,对比三副本与纠删码的实际读写放大和重建开销。
最后应使用业务对象大小分布、预计故障域布局和降级性能测试修正规划容量。k+m 可以准确给出理想存储成本与分片级恢复上限,但最终能否满足业务要求,还取决于分片放置、故障相关性及重建能力。