P2P 与分布式存储 / 系统课时

磁盘损坏后怎样选择重建来源

磁盘损坏后怎样选择重建来源

磁盘离线后,不能把“还能读到的副本”直接当成可信来源。本课用三副本和 RS(4,2) 两种布局,按已提交版本、数据校验和故障域筛选恢复来源,再核对重建结果,避免把过期或损坏的数据重新写回集群。

学习目标

  • 从权威元数据确认要恢复的对象版本与校验依据。
  • 分别选出三副本的可信源和纠删码可解码的分片集合。
  • 检查目标故障域、重建校验与并发写入边界。

先锁定已提交版本

以对象 obj-17 为例,恢复任务先从可信的元数据服务或已提交日志中取得 generation=28,同时固定对象标识、布局、分片映射、校验摘要与放置规则。纠删码还必须固定 stripeId=s-07、RS(4,2) 编码参数及各片索引;恢复期间不能混用不同条带版本。

不能扫描存活磁盘后取“最大版本号”作为真相:未提交的写入也可能留下更大的版本。若权威元数据暂不可得,应暂停修复并恢复元数据仲裁;若相同提交版本出现不同内容摘要,应先排查元数据或写入链路,不要随机选一份。

三副本优先选择完整且一致的数据

假设 obj-17 的提交版本为 28,可信元数据保存了该版本的 SHA-256 摘要。读取三份副本的结果如下:

副本 机架 版本 与可信摘要比对 判定
R1 rack-a 28 一致 可作为来源
R2 rack-b 28 不一致 损坏,隔离
R3 rack-c 27 版本不符,跳过校验 过期,不能复制

选择 R1 后,先对读取的数据再次校验,再流式复制到健康目标盘。目标应满足放置策略:例如恢复 rack-b 中的 R2 时,选 rack-b 的健康替换节点,而不是在 rack-a 再放一份,否则两副本可能随同一机架故障一起丢失。

纠删码必须凑齐同版本的独立索引

对于 RS(4,2),一个条带有四个数据片 D0~D3 和两个校验片 P0~P1。在采用 MDS Reed–Solomon 编码时,恢复通常需要同一条带版本、相同编码参数下任意四个索引不同且校验通过的分片,不能拿同一片的两份拷贝凑数。

假设 D3 所在磁盘损坏,P1 仍是版本 27;版本 28 的 D0(rack-a)、D1(rack-b)、D2(rack-c)、P0(rack-e) 均通过各自的可信分片摘要校验。于是选索引 0、1、2、4 解码并重建 D3,随后再修复过期的 P1。如果只有三个合格索引,就必须停止常规 RS 解码,寻找其他有效副本或备份。

三副本与纠删码重建来源的筛选对比

来源读取可优先分散到不同机架以降低相关故障风险,但不同机架不是 RS 数学解码的额外门槛;四个有效索引才是门槛。重建片写往哪里则必须遵守部署的机架或主机隔离规则。

用 Python 验证来源过滤

下面的 Python 3 标准库示例以预先可信的版本和摘要作为恢复清单,模拟拒绝损坏副本、过期分片和不足四片的情况。测试字节仅用于校验逻辑演示,不是实际 RS 编码产生的码字,不执行解码。

python
import hashlib

def sha256(data: bytes) -> str:
    return hashlib.sha256(data).hexdigest()

generation = 28
# 在演示中预置可信元数据,不从候选磁盘反推摘要
object_hash = sha256(b"object-v28")
replicas = [
    ("R1", 28, b"object-v28"),
    ("R2", 28, b"broken"),
    ("R3", 27, b"object-v27"),
]
valid_replicas = [
    name for name, ver, data in replicas
    if ver == generation and sha256(data) == object_hash
]
print("副本来源:", valid_replicas[0] if valid_replicas else "不足")

# 六个索引的期望摘要代表权威条带清单
part_hashes = {i: sha256(f"part-{i}".encode()) for i in range(6)}
fragments = [
    (0, "rack-a", 28, b"part-0"),
    (1, "rack-b", 28, b"part-1"),
    (2, "rack-c", 28, b"part-2"),
    (4, "rack-e", 28, b"part-4"),
    (5, "rack-f", 27, b"part-5"),
]
valid_indexes = sorted({
    idx for idx, rack, ver, data in fragments
    if ver == generation and sha256(data) == part_hashes[idx]
})
sources = valid_indexes[:4]
print("RS(4,2)来源索引:", sources)
print("满足四片门槛:", len(sources) == 4)
occupied_racks = {rack for _, rack, _, _ in fragments}
print("新片机架不重复:", "rack-d" not in occupied_racks)

预期输出:

text
副本来源: R1
RS(4,2)来源索引: [0, 1, 2, 4]
满足四片门槛: True
新片机架不重复: True

生产系统还要按 stripeId、编码矩阵版本和分片长度筛选,确认目标盘及所在机架健康、负载可承受,并调用实际 RS 编解码器。代码中的机架检查只验证不与现存分片重复,不等于完整的放置策略验收;True 也不代表解码和写后校验已经完成。

写回与切换前的四项验收

  1. 写入前:把故障盘隔离,确认目标盘健康、容量足够,并检查放置策略。例如按机架隔离的六片条带,应避免在已有分片的机架上再放另一个索引。
  2. 重建时:固定 generation=28 与条带参数;按块校验源数据后复制或解码。示例限速可设为每盘 50 MiB/s、同时一项恢复任务,再依据前台延迟调整,这不是通用默认值。
  3. 写入后:重读目标数据,与可信摘要核对;对 EC 分片同时检查索引、长度及编码参数。若能重组完整对象,再核对对象级摘要。
  4. 发布前:用版本条件更新元数据并确认放置集合。如果对象已提交版本 29,不能把版本 28 的恢复片标为最新;应转入追赶或重做该条带,再开放正常读写。

只要出现来源摘要冲突、合格 EC 索引不足四个、目标违反故障域规则或写后校验失败,就保持降级状态并报警,不能为了恢复副本数量而提前宣布修复完成。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

磁盘损坏后怎样选择重建来源

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通