P2P 与分布式存储 / 系统课时
Endgame 阶段为何重复请求
Endgame 阶段为何重复请求
当 BitTorrent 下载接近完成时,最后几个 Block 可能被慢速 Peer 长时间占用,导致其他连接空闲却无法推进进度。Endgame 策略允许向多个 Peer 请求同一 Block,以最先返回的有效数据完成下载,并用 Cancel 撤销冗余请求。本课通过具体时序和可运行模拟理解这一机制。
学习目标
- 解释尾段下载为什么会出现少量未完成 Block 拖慢整体完成时间的问题。
- 掌握重复 Request、首份 Piece 到达和 Cancel 撤销请求的协作顺序。
- 实现一个简化的 Endgame 调度模拟,验证重复响应不会造成重复写入。
尾段为什么需要改变调度策略
正常下载阶段,调度器通常避免让多个 Peer 同时下载相同的 Block,以减少重复流量。假设一个资源还有 3 个 Block 未完成,分别为 B0、B1、B2,三个 Peer 的预估返回时间如下:
| Block | 已分配 Peer | 预计返回时间 |
|---|---|---|
| B0 | Peer A | 900 ms |
| B1 | Peer B | 120 ms |
| B2 | Peer C | 180 ms |
B1 和 B2 很快完成,但 B0 仍需等待约 900 ms。如果 Peer D 也拥有 B0,且预计只需 150 ms,那么向 D 再发一份请求,有机会显著缩短尾段等待时间。
Endgame 通常在剩余未完成 Block 数量很少时启用。比如演示客户端设置 endgameThresholdBlocks = 3,表示剩余未完成 Block 不超过 3 个时允许重复请求。这只是本地调度策略参数,并非 BitTorrent 协议规定的统一阈值。实际客户端还会考虑连接速度、请求队列、超时和剩余数据量。
重复 Request 与 Cancel 的报文时序
Peer Wire Protocol 中,Request 消息的消息 ID 为 6,Cancel 消息的消息 ID 为 8。两者都使用相同的三个定位字段:index、begin、length,分别表示 Piece 索引、Piece 内字节偏移和请求字节数。
假设最后一个待下载 Block 的定位信息为 index=7、begin=16384、length=16384,调度器同时向 Peer A 和 Peer B 请求该 Block。

执行过程如下:
- 客户端发现目标 Block 尚未收到,同时向 Peer A 和 Peer B 发送 Request,两个请求的三个定位字段完全一致。
- Peer B 先返回 Piece 消息,携带
index=7、begin=16384和对应的 16384 字节数据。客户端核对请求范围,将数据写入对应缓冲区,并标记 Block 已接收。 - 客户端向 Peer A 发送 Cancel,撤销先前发出的同一 Block 请求,同时清理本地对应的未完成请求记录。
- 如果 Peer A 已经开始发送数据,Cancel 可能来不及阻止其响应。客户端仍须识别迟到的重复 Piece,避免再次写入或重复计数。
Request 和 Cancel 的有效载荷均为 12 字节,外加 4 字节长度前缀和 1 字节消息 ID,完整报文长度为 17 字节。Piece 响应则携带 index、begin 和实际 Block 数据,不包含 length 字段;数据长度由消息长度计算。
用 Python 模拟最快响应与取消
下面使用 Python 3.10+ 的标准库 asyncio 模拟两个 Peer 的响应时间。代码不建立真实 BitTorrent 连接,而是演示调度器最重要的状态规则:只接收第一份数据、对其他请求发送逻辑上的 Cancel,并安全忽略迟到响应。
import asyncio
BLOCK = (7, 16384, 16384)
received = set()
pending = set()
async def request(peer, delay_ms):
pending.add(peer)
print(f"Request -> {peer}: {BLOCK}")
await asyncio.sleep(delay_ms / 1000)
# 模拟远端响应已在途:即使收到Cancel,也可能继续抵达
if BLOCK in received:
print(f"Ignore duplicate <- {peer}")
pending.discard(peer)
return
received.add(BLOCK)
pending.discard(peer)
print(f"Accept Piece <- {peer}")
for other in sorted(pending):
print(f"Cancel -> {other}: {BLOCK}")
async def main():
await asyncio.gather(
request("Peer A", 300),
request("Peer B", 100),
)
print(f"Accepted blocks: {len(received)}")
if __name__ == "__main__":
asyncio.run(main())预期输出:
Request -> Peer A: (7, 16384, 16384)
Request -> Peer B: (7, 16384, 16384)
Accept Piece <- Peer B
Cancel -> Peer A: (7, 16384, 16384)
Ignore duplicate <- Peer A
Accepted blocks: 1这里的 Cancel 只是打印出的逻辑事件,并没有实际发送协议报文;Peer A 的协程也没有被取消,以便模拟已经在途的迟到数据。真实实现需要把请求映射到每条 Peer 连接的待处理队列,并在收到有效 Block 后发送 ID 为 8 的 Cancel 报文。
模拟中的 received 集合承担去重职责。实际客户端还应验证 Piece 索引、偏移、长度、请求归属和缓冲区边界。对于异步并发处理,检查与标记已接收状态应由统一调度器串行完成,或通过同步机制保护,防止两个网络回调同时接受同一 Block。
生产调度中的边界与代价
Endgame 并不意味着向所有 Peer 无限发送相同请求。假设剩余 2 个 Block,每个 16 KiB,每个 Block 向 3 个 Peer 请求,最坏情况下所有响应都已发出,则总接收数据可能达到 96 KiB,其中 64 KiB 是重复流量。这是全部请求都返回时的上界示例,不代表通常实际消耗。
一个可用于实验的客户端策略如下:
| 调度参数 | 示例值 | 用途 |
|---|---|---|
endgameThresholdBlocks |
3 | 剩余未完成 Block 数达到阈值时进入 Endgame |
maxDuplicatePeers |
2 | 每个 Block 最多同时向 2 个 Peer 请求 |
requestTimeoutMs |
2000 | 超时后允许清理或重新分配请求 |
blockSize |
16384 B | 普通完整 Block 的请求大小 |
这些是教学用调度器自定义字段,不是标准 Peer Wire Protocol 配置项。最后一个 Block 可能短于 16384 字节,实际 Request 的 length 必须与资源剩余范围一致,不能越界。
实现时还应区分三种情况:
- 首份有效响应到达:保存 Block,撤销其他未完成请求,且只增加一次有效接收进度。
- 重复响应迟到:检查 Block 已完成状态,丢弃重复数据,不重复写入,也不增加有效下载进度。
- Piece 哈希校验失败:不能因为 Block 曾被标记为已接收就宣布下载完成;必须使相关数据重新进入可下载状态,并按实现策略重新请求。
可将模拟中的 Peer B 延迟从 100 ms 改成 500 ms,观察 Peer A 先返回时 Cancel 的目标如何变化。再把两个延迟都设置为 300 ms,检查同一事件循环中仍然只接受一个 Block。模拟的验收条件始终是 Accepted blocks: 1。
Endgame 适合剩余请求稀少、部分 Peer 响应明显滞后且存在其他可用 Peer 的场景。剩余数据较多时应继续优先采用正常分块调度;否则重复请求会占用带宽,反而降低整个下载任务的吞吐效率。