P2P 与分布式存储 / 系统课时
对比分发吞吐与源端上传流量
对比分发吞吐与源端上传流量
同一份测试文件分别通过集中式 HTTP 和 BitTorrent 分发,下载完成时间可能接近,但源端承担的上传流量往往不同。本课搭建可重复的对照实验,记录完成时间、源端上传字节、各节点上传贡献和 Piece 可用性,并判断在哪些网络条件下 P2P 分发真正具有优势。
学习目标
- 在相同文件、节点规模和网络条件下完成 HTTP 与 BitTorrent 对照实验。
- 计算分发吞吐、源端上传量、节点贡献比例及 Piece 可用性。
- 根据实验数据识别源端瓶颈、冷启动开销和 P2P 性能边界。
固定实验条件与测量口径
使用自己拥有分发权限的 64 MiB 测试文件,配置一台源端 S 和四台下载节点 A、B、C、D。源端上传限速 10 MiB/s,每个下载节点下载限速 20 MiB/s、上传限速 5 MiB/s。优先使用相互独立的 Linux 虚拟机或容器网络命名空间,避免共享宿主机回环链路造成不真实的吞吐结果。
| 实验参数 | HTTP 组 | BitTorrent 组 |
|---|---|---|
| 文件大小 | 64 MiB | 64 MiB |
| 下载节点 | 4 | 4 |
| 源端上传上限 | 10 MiB/s | 10 MiB/s |
| 单节点下载上限 | 20 MiB/s | 20 MiB/s |
| 节点上传上限 | 不参与分发 | 5 MiB/s |
| 缓存条件 | 禁用代理缓存 | 使用独立下载目录 |
| 计时终点 | 文件下载并校验完成 | 文件下载并校验完成 |
HTTP 组由源端提供静态文件,四个节点同时下载。BitTorrent 组由 S 持有完整文件并作为初始 Seeder,其他节点通过同一种子参与分发,允许下载节点上传已验证的 Piece。
测试文件可在 Linux 上生成,以下命令要求安装 Python 3。使用固定伪随机种子,使重复实验得到完全相同的内容;测试文件不应包含真实业务数据。
python3 - <<'PY'
import hashlib
import random
from pathlib import Path
rng = random.Random(2026)
path = Path('payload.bin')
with path.open('wb') as f:
for _ in range(64):
f.write(rng.randbytes(1024 * 1024))
print('size_bytes:', path.stat().st_size)
print('sha256:', hashlib.file_digest(path.open('rb'), 'sha256').hexdigest()[:16])
PY预期输出中,文件大小固定为 67108864 字节,SHA-256 摘要前缀为实际计算结果,不应人为指定。
size_bytes: 67108864
sha256: <实际计算得到的16位十六进制摘要>上述命令使用 Python 3.11 及以上版本支持的 hashlib.file_digest。正式实验需记录完整 SHA-256 值,用于检查两组接收的文件内容是否一致。
执行两组分发实验
先完成 HTTP 组,再重新准备 BitTorrent 组。每组至少重复五次,记录每次完整数据,并使用中位数比较,避免偶发调度和网络波动主导结论。
HTTP 组可在源端执行以下命令,要求源端安装 Python 3,并已准备好测试文件:
python3 -m http.server 8000 --bind 0.0.0.0预期输出为 HTTP 服务监听信息,具体显示内容随 Python 版本变化。
Serving HTTP on 0.0.0.0 port 8000 (http://0.0.0.0:8000/) ...四个下载节点使用 curl 进行并发下载。以下为单节点命令,实际执行时将 <SOURCE_IP> 替换为源端地址,并在四个节点使用同一预定启动时刻。命令要求安装 curl、sha256sum 和 GNU date。
start=$(date +%s%N)
curl --fail --silent --show-error --noproxy '*' \
--output payload-http.bin \
"http://<SOURCE_IP>:8000/payload.bin"
sha256sum payload-http.bin
end=$(date +%s%N)
awk -v s="$start" -v e="$end" 'BEGIN {printf "elapsed_seconds: %.3f\n", (e-s)/1000000000}'预期结果为一行文件 SHA-256 摘要及一行实际耗时;摘要应与源文件一致。耗时由真实网络条件决定,不应预先固定。
<64位SHA-256摘要> payload-http.bin
elapsed_seconds: <实际耗时秒数>这里的尖括号表示示意占位,实际命令输出不会包含尖括号。curl 命令测量下载和校验的总耗时,计时起点和终点应与 BitTorrent 组保持一致。
BitTorrent 组建议使用支持流量统计的客户端,例如 qBittorrent 或 libtorrent 测试程序。创建 BitTorrent v1 种子,Piece Length 设置为 1 MiB,因此 64 MiB 文件共有 64 个 Piece。将相同种子交给四个下载节点,并确保 S 是初始唯一持有完整文件的节点。
- 在源端校验文件,创建种子并启动做种;使用测试 Tracker 或受控 Peer 地址保证节点可发现。
- 清空 A、B、C、D 的下载目标目录及对应的恢复状态,避免历史 Piece 缓存影响冷启动。
- 在同一预定时刻启动四个下载任务,允许节点之间上传数据,并按实验参数施加限速。
- 等待全部节点完成 Piece 校验,记录每个节点的完成时刻和上传字节数。
- 保留源端上传统计、下载节点上传统计和随时间变化的 Piece 可用性记录。

计算完成时间、吞吐和源端流量
以全部四个节点完成校验的时刻减去统一启动时刻,得到整组分发完成时间 。如果文件大小为 、下载节点数为 ,则有效聚合吞吐为:
其中 的单位为 MiB/s。它反映所有节点获得的有效文件数据量,不等于网络接口总传输速率,因为协议开销、重复传输和重试不计入有效文件大小。
源端上传量 应在实验开始和全部节点完成之间采样。HTTP 组在无缓存、无重试、每个节点完整下载一次的理想情况下,源端至少发送 MiB 文件数据。BitTorrent 组则可能由源端发送较少数据,再由下载节点相互补齐。
下面是一组用于演示计算的假设数据,并非实测结果。
| 指标 | HTTP | BitTorrent |
|---|---|---|
| 全部完成时间 | 27.0 s | 19.0 s |
| 有效聚合吞吐 | 9.48 MiB/s | 13.47 MiB/s |
| 源端上传文件数据 | 256 MiB | 96 MiB |
| Peer互传文件数据 | 0 MiB | 160 MiB |
| 源端数据占比 | 100% | 37.5% |
以 BitTorrent 组为例,有效聚合吞吐为 MiB/s,源端数据占比为 。相对于 HTTP 组,源端文件数据发送量下降 ,全部完成时间缩短约 。
这个算例假定没有重复下载、失败重试或重复发送。实际统计中,源端上传文件数据加上 Peer 互传文件数据可能超过 256 MiB;如果采用网卡字节计数,还会包含 TCP/IP、uTP 和其他协议开销。
检查节点贡献与 Piece 可用性
仅比较完成时间不足以解释 P2P 的性能。需要进一步检查哪些节点贡献了上传带宽,以及是否存在某些 Piece 只保存在即将离线的节点上。
假设 BitTorrent 组中源端上传 96 MiB,四个下载节点的上传贡献如下:
| 节点 | 上传文件数据 | 占Peer互传数据比例 |
|---|---|---|
| A | 48 MiB | 30% |
| B | 40 MiB | 25% |
| C | 44 MiB | 27.5% |
| D | 28 MiB | 17.5% |
| 合计 | 160 MiB | 100% |
节点贡献比例采用节点上传文件数据除以所有下载节点上传文件数据之和。该比例用于判断上传负担是否集中,不能仅凭比例高低认定节点表现好坏,还需要结合在线时间、可用上行带宽和收到的请求数量。
Piece 可用性可以在每个采样时刻通过在线节点的 Bitfield 统计。设当前有 64 个 Piece,若所有在线节点的 Bitfield 并集覆盖全部 64 个,则可用性覆盖率为 100%;若只覆盖 60 个,则为 93.75%。
还应记录每个 Piece 的在线副本数量。例如,Piece 17 仅存在于 S,而其他 Piece 已拥有三个在线副本,则 Piece 17 是单点风险。即使当前平均下载速度很高,一旦 S 离线,整个任务仍可能无法完成。

采样间隔可以设为 1 秒,至少保存 timestamp、peerId、verifiedPieces、uploadedBytes、downloadedBytes 和 connectedPeers。其中字段名是建议的实验记录格式,不代表所有 BitTorrent 客户端均提供同名 API。只将校验通过的 Piece 计入可用副本。
识别不同网络条件下的性能边界
在基础实验完成后,每次只改变一个变量,并重复至少五轮。推荐以下三组对照:
| 变化条件 | 具体设置 | 重点观察 |
|---|---|---|
| 源端带宽受限 | S上传由10降至2MiB/s | HTTP完成时间与P2P源端依赖 |
| Peer上传受限 | 每个Peer上传由5降至0.5MiB/s | P2P互传贡献与完成时间 |
| 节点数量增加 | 下载节点由4增至8 | 源端上传量增长与Piece覆盖 |
第一组中,HTTP 源端需要发送至少 256 MiB 文件数据,忽略额外开销时,2 MiB/s 的源端上限给出至少 128 秒的理论完成时间下界。BitTorrent 可以利用 Peer 上传带宽,但仍需要源端向群体注入足够的独立 Piece;如果关键 Piece 尚未扩散,下载节点也可能等待源端。
第二组中,Peer 上传能力总和明显下降,BitTorrent 可能接近由源端单独供给的模式。第三组中,HTTP 在无缓存时源端文件数据需求随下载节点数线性增长;BitTorrent 则取决于节点之间的连通性、上传能力、Piece 调度和在线时长。
整理实验记录并判断结论
最终报告应同时展示全部完成时间、最慢节点完成时间、有效聚合吞吐、源端上传字节、各 Peer 上传贡献和 Piece 覆盖率。对于重复试验,保留每轮原始数据,报告中位数和波动范围,避免只挑选最快的一轮。
建议使用如下验收条件:
- 两组下载文件的 SHA-256 均与源文件一致,且每组全部节点完成校验。
- HTTP 与 BitTorrent 使用相同的文件、下载节点规模、网络限制和统一计时口径。
- 源端流量通过同一层级的计数器采集,并区分文件数据、协议流量和网络接口总流量。
- BitTorrent 组可以解释各 Peer 上传数据的来源,Piece 覆盖率在任务完成时达到 100%。
- 每组至少五次重复实验,保留原始时间戳与统计数据,并注明客户端版本及测试环境。
如果实验显示 BitTorrent 完成时间更短、源端上传量更低,可以据此认定在当前条件下 P2P 分担了源端负载;如果节点数量少、Peer 上传能力弱或文件很小,HTTP 也可能更快。最终判断必须同时依据完成时间、源端成本和分块可用性,而不是单一的下载速度。