P2P 与分布式存储 / 系统课时
跨机架放置怎样隔离相关故障
跨机架放置怎样隔离相关故障
三份副本即使分布在三台主机上,只要共用机架供电或交换机,就可能在一次机架故障中同时不可访问。本课建立磁盘、主机、机架和机房的故障域模型,为三副本与纠删码设置放置约束,并用故障枚举验证数据是否仍可恢复。
学习目标
- 辨认磁盘、主机、机架、机房的相关故障边界。
- 计算三副本与 4+2 纠删码在机架故障下需要的放置条件。
- 使用 Python 枚举故障组合,区分数据可恢复性与业务可用性。
从物理拓扑定义故障域
故障域是可能被同一次故障波及的一组设备。一个机房包含多座机架,一座机架包含多台主机,一台主机包含多块磁盘;在某一层分散数据,并不代表避开了更上层的共同故障。
| 层级 | 共同失效的典型原因 | 放置时要检查 |
|---|---|---|
| 磁盘 | 介质或控制器故障 | 冗余片不能全部落在同一块盘 |
| 主机 | 操作系统崩溃、整机断电 | 副本位于不同主机 |
| 机架 | 机架交换机 ToR、供电 PDU 故障 | 限制同一对象在每架的片数 |
| 机房 | 供电、制冷、汇聚网络故障 | 需要抗机房故障时必须跨机房 |
标注机架归属时应核对真实布线和供电关系。例如,标成不同机架的设备若仍依赖同一台上联交换机,跨架放置也不能消除这项共同故障。
三副本放在哪些机架
反例是把对象 obj-A 的三个副本分别放在机架 A 内的主机 H1、H2、H3。它们能抵抗单台主机损坏,却会在机架 A 的 ToR 或 PDU 故障后全部离线。
正确的机架级约束是:三副本分别落在 A、B、C 三个机架,且每个机架最多一份。若 A 整架失效,B 和 C 仍有两份可用副本;若写入协议要求三副本中的两份确认,剩余副本在网络正常时仍有满足数量条件的可能,但实际写入可用性还受主从切换及一致性协议影响。

纠删码按最坏机架损失计算
对于 4+2 纠删码,一个条带共有 4 个数据片与 2 个校验片,任意保留至少 4 个有效片即可重建。容忍两块磁盘或两个分片损失,不等同于容忍两个机架损失,因为一个机架可能承载多个片。
| 同一条带的分片放置 | 损失 1 架后最少剩余 | 损失 2 架后最少剩余 |
|---|---|---|
| 3 个机架,每架 2 片 | 4/6:可重建 | 2/6:不可重建 |
| 6 个机架,每架 1 片 | 5/6:可重建 | 4/6:可重建 |
因此,只要求抵抗一个机架故障时,必须使该机架最多损失 2 片;要抵抗任意两个机架故障,则每架最多放 1 片,至少需要 6 个独立机架。以 Ceph 的常规纠删码 CRUSH 规则为例,使用 crush-failure-domain=rack 会按不同机架选择分片;表中的“三架各两片”是一般放置策略的算例,不是这条常规规则的默认效果。
枚举机架离线验证放置
下面的 Python 3.9+ 程序把一个对象的副本或分片所在机架记录成元组,用 itertools.combinations 枚举所有指定数量的故障机架。保存为 rack_check.py 后执行 python3 rack_check.py。
from itertools import combinations
def verify(name, placement, minimum_needed, lost_racks):
racks = sorted(set(placement))
# 同一机架的所有副本或分片随故障一起离线
min_left = min(
sum(rack not in failed for rack in placement)
for failed in combinations(racks, lost_racks)
)
# 副本留一份可保存数据;4+2 至少留四片才可重建
ok = min_left >= minimum_needed
print(f"{name}:失去{lost_racks}架,最少剩余{min_left}/{len(placement)},可恢复={ok}")
verify("同架三副本", ("A", "A", "A"), 1, 1)
verify("跨架三副本", ("A", "B", "C"), 1, 1)
verify("EC三架各两片", ("A", "A", "B", "B", "C", "C"), 4, 1)
verify("EC三架各两片", ("A", "A", "B", "B", "C", "C"), 4, 2)
verify("EC六架各一片", ("A", "B", "C", "D", "E", "F"), 4, 2)预期输出:
同架三副本:失去1架,最少剩余0/3,可恢复=False
跨架三副本:失去1架,最少剩余2/3,可恢复=True
EC三架各两片:失去1架,最少剩余4/6,可恢复=True
EC三架各两片:失去2架,最少剩余2/6,可恢复=False
EC六架各一片:失去2架,最少剩余4/6,可恢复=True这里的“可恢复”只表示剩余副本或分片数量足够,不代表客户端一定能立即读写;还需核对仲裁规则、最小写入副本数、网络和恢复服务的状态。
在线扩容时检查物理约束
- 建立实际的“机房—机架—主机—磁盘”清单。使用 Ceph 时可运行
ceph osd tree检查 OSD 所在的 CRUSH 层级,发现被误归类的主机先纠正拓扑。 - 为三副本预留至少 3 个可选机架;为常规跨架
4+2纠删码预留至少 6 个可选机架。新增 6 台主机如果全部位于同一机架,不能替代新增故障域。 - 在测试集群抽查至少 100 个放置组或对象的实际分布,确认其遵守每机架片数约束,再模拟一座机架中的节点同时离线。验证数据可读、剩余片数满足门槛,并观察降级和恢复过程。
- 扩容或修复结束后重新抽样,检查迁移后的副本位置,以及健康机架是否还有足够空间承接后续重建。
跨机架放置的验收标准是:实际数据位置满足故障域约束,任意目标机架整体失效后仍保留足够冗余片,而且恢复完成后不会把副本重新聚集到同一故障域。