P2P 与分布式存储 / 系统课时

跨机架放置怎样隔离相关故障

跨机架放置怎样隔离相关故障

三份副本即使分布在三台主机上,只要共用机架供电或交换机,就可能在一次机架故障中同时不可访问。本课建立磁盘、主机、机架和机房的故障域模型,为三副本与纠删码设置放置约束,并用故障枚举验证数据是否仍可恢复。

学习目标

  • 辨认磁盘、主机、机架、机房的相关故障边界。
  • 计算三副本与 4+2 纠删码在机架故障下需要的放置条件。
  • 使用 Python 枚举故障组合,区分数据可恢复性与业务可用性。

从物理拓扑定义故障域

故障域是可能被同一次故障波及的一组设备。一个机房包含多座机架,一座机架包含多台主机,一台主机包含多块磁盘;在某一层分散数据,并不代表避开了更上层的共同故障。

层级 共同失效的典型原因 放置时要检查
磁盘 介质或控制器故障 冗余片不能全部落在同一块盘
主机 操作系统崩溃、整机断电 副本位于不同主机
机架 机架交换机 ToR、供电 PDU 故障 限制同一对象在每架的片数
机房 供电、制冷、汇聚网络故障 需要抗机房故障时必须跨机房

标注机架归属时应核对真实布线和供电关系。例如,标成不同机架的设备若仍依赖同一台上联交换机,跨架放置也不能消除这项共同故障。

三副本放在哪些机架

反例是把对象 obj-A 的三个副本分别放在机架 A 内的主机 H1、H2、H3。它们能抵抗单台主机损坏,却会在机架 A 的 ToR 或 PDU 故障后全部离线。

正确的机架级约束是:三副本分别落在 A、B、C 三个机架,且每个机架最多一份。若 A 整架失效,B 和 C 仍有两份可用副本;若写入协议要求三副本中的两份确认,剩余副本在网络正常时仍有满足数量条件的可能,但实际写入可用性还受主从切换及一致性协议影响。

磁盘至机房的故障域层级,以及三副本同机架与跨机架放置的故障结果

纠删码按最坏机架损失计算

对于 4+2 纠删码,一个条带共有 4 个数据片与 2 个校验片,任意保留至少 4 个有效片即可重建。容忍两块磁盘或两个分片损失,不等同于容忍两个机架损失,因为一个机架可能承载多个片。

同一条带的分片放置 损失 1 架后最少剩余 损失 2 架后最少剩余
3 个机架,每架 2 片 4/6:可重建 2/6:不可重建
6 个机架,每架 1 片 5/6:可重建 4/6:可重建

因此,只要求抵抗一个机架故障时,必须使该机架最多损失 2 片;要抵抗任意两个机架故障,则每架最多放 1 片,至少需要 6 个独立机架。以 Ceph 的常规纠删码 CRUSH 规则为例,使用 crush-failure-domain=rack 会按不同机架选择分片;表中的“三架各两片”是一般放置策略的算例,不是这条常规规则的默认效果。

枚举机架离线验证放置

下面的 Python 3.9+ 程序把一个对象的副本或分片所在机架记录成元组,用 itertools.combinations 枚举所有指定数量的故障机架。保存为 rack_check.py 后执行 python3 rack_check.py。

python
from itertools import combinations

def verify(name, placement, minimum_needed, lost_racks):
    racks = sorted(set(placement))
    # 同一机架的所有副本或分片随故障一起离线
    min_left = min(
        sum(rack not in failed for rack in placement)
        for failed in combinations(racks, lost_racks)
    )
    # 副本留一份可保存数据;4+2 至少留四片才可重建
    ok = min_left >= minimum_needed
    print(f"{name}:失去{lost_racks}架,最少剩余{min_left}/{len(placement)},可恢复={ok}")

verify("同架三副本", ("A", "A", "A"), 1, 1)
verify("跨架三副本", ("A", "B", "C"), 1, 1)
verify("EC三架各两片", ("A", "A", "B", "B", "C", "C"), 4, 1)
verify("EC三架各两片", ("A", "A", "B", "B", "C", "C"), 4, 2)
verify("EC六架各一片", ("A", "B", "C", "D", "E", "F"), 4, 2)

预期输出:

text
同架三副本:失去1架,最少剩余0/3,可恢复=False
跨架三副本:失去1架,最少剩余2/3,可恢复=True
EC三架各两片:失去1架,最少剩余4/6,可恢复=True
EC三架各两片:失去2架,最少剩余2/6,可恢复=False
EC六架各一片:失去2架,最少剩余4/6,可恢复=True

这里的“可恢复”只表示剩余副本或分片数量足够,不代表客户端一定能立即读写;还需核对仲裁规则、最小写入副本数、网络和恢复服务的状态。

在线扩容时检查物理约束

  1. 建立实际的“机房—机架—主机—磁盘”清单。使用 Ceph 时可运行 ceph osd tree 检查 OSD 所在的 CRUSH 层级,发现被误归类的主机先纠正拓扑。
  2. 为三副本预留至少 3 个可选机架;为常规跨架 4+2 纠删码预留至少 6 个可选机架。新增 6 台主机如果全部位于同一机架,不能替代新增故障域。
  3. 在测试集群抽查至少 100 个放置组或对象的实际分布,确认其遵守每机架片数约束,再模拟一座机架中的节点同时离线。验证数据可读、剩余片数满足门槛,并观察降级和恢复过程。
  4. 扩容或修复结束后重新抽样,检查迁移后的副本位置,以及健康机架是否还有足够空间承接后续重建。

跨机架放置的验收标准是:实际数据位置满足故障域约束,任意目标机架整体失效后仍保留足够冗余片,而且恢复完成后不会把副本重新聚集到同一故障域。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

跨机架放置怎样隔离相关故障

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通