P2P 与分布式存储 / 系统课时
节点离线后怎样补齐稀缺分块
节点离线后怎样补齐稀缺分块
当 BitTorrent 网络中的 Peer 频繁加入或退出时,部分 Piece 可能只剩一个副本,甚至彻底消失。本课通过六个分块、四个节点的实例,计算分块副本数量,识别离线风险,并判断下载任务能否恢复以及需要哪些外部条件。
学习目标
- 根据 Peer 的 Bitfield 计算每个 Piece 的可用副本数量。
- 区分副本不足、暂时不可用和已经无法从当前节点集合恢复的分块。
- 设计节点离线后的重新调度、完整性校验与 Seeder 补种策略。
从 Bitfield 统计分块副本
假设一个 Torrent 包含六个 Piece,编号 P0~P5,每个 Piece 为 1 MiB,总资源大小为 6 MiB。当前有四个远端节点 A、B、C、D,本地下载端 L 尚未持有任何完整 Piece。
Bitfield 中的 1 表示节点已经持有对应 Piece,0 表示没有。收到完整 Bitfield 或后续 Have 消息后,客户端可以维护每个分块的持有者集合。
| 节点 | P0 | P1 | P2 | P3 | P4 | P5 |
|---|---|---|---|---|---|---|
| Peer A | 1 | 1 | 0 | 0 | 1 | 0 |
| Peer B | 1 | 0 | 1 | 0 | 0 | 1 |
| Peer C | 0 | 1 | 1 | 1 | 0 | 0 |
| Peer D | 1 | 0 | 0 | 0 | 1 | 1 |
| 在线副本数 | 3 | 2 | 2 | 1 | 2 | 2 |
P3 只有 Peer C 持有,是当前最稀缺的 Piece。如果 C 在 P3 被其他节点完整下载并通过校验之前离线,剩余节点就无法提供 P3 的数据。
定义在线副本数 为当前可用节点中持有 Piece i 的节点数量:
其中 为节点 j 对 Piece i 的持有位,取值为 0 或 1。这里的副本数只反映当前已知且在线的持有者,不保证这些节点愿意上传或能够立即响应请求。
模拟节点离线与覆盖率变化
现在 Peer C 突然断开连接。客户端从当前在线集合中移除 C,并重新计算每个 Piece 的可用副本数。
| Piece | 离线前 | C 离线后 | 状态 |
|---|---|---|---|
| P0 | 3 | 3 | 正常 |
| P1 | 2 | 1 | 单副本风险 |
| P2 | 2 | 1 | 单副本风险 |
| P3 | 1 | 0 | 当前不可获取 |
| P4 | 2 | 2 | 正常 |
| P5 | 2 | 2 | 正常 |
定义当前在线节点集合的分块覆盖率为:
其中 M 为 Torrent 的 Piece 总数。C 离线之前覆盖率为 6/6,即 100%;离线之后覆盖率为 5/6,约 83.33%。

需要区分两种情况:如果 P3 已经由本地 L 完整下载并通过哈希校验,虽然远端副本数为 0,整个下载任务仍然可能完成;如果本地也没有 P3,当前在线节点集合就无法完成下载。
用代码计算缺失分块与风险等级
实际调度器需要在 Peer 加入、离开、Bitfield 更新以及 Have 到达时更新统计结果。下面使用 Python 3.10+ 模拟 C 离线后的分块可用性,并把本地已经校验通过的 Piece 纳入判断。
# Python 3.10+
from collections import Counter
pieces = set(range(6))
peers = {
"A": {0, 1, 4},
"B": {0, 2, 5},
"C": {1, 2, 3},
"D": {0, 4, 5},
}
verified_local = set()
# 模拟C离线:仅统计仍在线的远端持有者
peers.pop("C")
counts = Counter(p for held in peers.values() for p in held)
missing = sorted(pieces - verified_local - set(counts))
critical = sorted(p for p in pieces - verified_local
if counts[p] == 1)
covered = sum(p in verified_local or counts[p] > 0
for p in pieces)
print("副本数:", [counts[p] for p in sorted(pieces)])
print("单副本风险:", critical)
print("当前缺失:", missing)
print(f"覆盖率: {covered / len(pieces):.2%}")预期输出:
副本数: [3, 1, 1, 0, 2, 2]
单副本风险: [1, 2]
当前缺失: [3]
覆盖率: 83.33%代码中的 verified_local 只包含已经完成完整性校验的本地 Piece。下载到一半的 Block 不能算作完整 Piece 副本,否则可能错误地认为缺失分块已经恢复。
这个统计模型用于说明调度决策,不等同于完整 BitTorrent 客户端。真实客户端还要处理 Peer 的 Choke 状态、请求超时、连接可达性以及 Bitfield 和 Have 消息的异步更新。
重新调度怎样降低继续丢块的风险
发现 P3 不可获取后,客户端不应持续向已经断开的 C 重试。正确处理方式是保留下载状态,继续获取仍然可用的 Piece,并等待新的 P3 持有者出现。
- 将 C 从当前可调度 Peer 集合移除,清理或重新分配与其关联的未完成请求。
- 根据剩余在线节点的 Bitfield 更新副本统计,把 P1、P2 标记为单副本高风险分块。
- 如果 A 当前允许上传,优先向 A 请求 P1;如果 B 允许上传,优先请求 P2。请求仍需遵守 Choke 状态、流水线窗口和超时策略。
- 每个 Piece 的全部 Block 收齐后,按照 Torrent 的完整性校验规则验证。通过后才把它加入本地 Bitfield,并向连接的 Peer 发送 Have。
- 对 P3 暂停无来源请求,继续通过 Tracker、DHT 或 PEX 发现候选节点,等待包含 P3 的持有者上线。

Rarest First 可以优先保护仍有来源的稀缺分块,但无法凭空重建副本数为 0 的 Piece。假设 P1 和 P2 各为 1 MiB,本地分别成功取得并校验通过,那么本地会新增两个完整副本,降低后续 A 或 B 离线造成的损失。
需要注意,副本统计应区分远端可用副本和本地已校验副本;不能把正在下载的请求数量当作实际副本数量。
恢复完整副本需要满足什么条件
继续上述场景,假设本地 L 已经校验通过 P0、P1、P2、P4、P5,唯独缺少 P3。此时无论怎样重新排列请求顺序,都无法从 A、B、D 获取 P3。
完成下载至少需要出现一个可提供 P3 的来源,并满足以下条件:
- 新发现的 Peer 或重新上线的 C 确实持有完整且正确的 P3。
- 双方能够建立连接,下载端对 P3 感兴趣,上传端最终允许请求,并且传输能够完成。
- 本地收齐 P3 的所有 Block,并依据对应 Torrent 元数据完成完整性校验。
假设 C 重新上线且提供 P3,L 成功下载并校验后,本地就拥有 P0~P5 全部六个 Piece,下载完成率达到 100%,可以作为完整 Seeder 对其他节点提供数据。
另一种恢复方式是原始发布者重新启动 Seeder,或者由持有完整且匹配资源的节点加入 Swarm。对于只有部分数据的节点,只要它持有缺失的 P3,也可能足以恢复当前下载任务。
最后需要明确恢复边界:当某个 Piece 在本地没有已校验副本,且所有当前可访问的 Peer 都不持有它时,客户端只能等待新来源,不能通过其他 Piece 的哈希、重复请求或 Rarest First 算法还原其原始内容。对于希望长期可下载的资源,应保留至少一个可靠的完整 Seeder,并尽量让稀缺 Piece 尽早传播到更多节点。