P2P 与分布式存储 / 系统课时
评估网关延迟与公共服务依赖
评估网关延迟与公共服务依赖
同一个 CID 首次通过 HTTP 网关读取可能耗时数秒,紧接着再读却明显变快。本课用固定内容和 curl 对比首次、重复及不同网关请求,再用 Kubo 查询提供者,判断延迟来自缓存、内容发现还是公共服务,并制定上线时的监控与降级边界。
学习目标
- 采集 HTTP 状态码、首字节时间(TTFB)和总耗时,识别重复访问的变化。
- 区分网关缓存、内容提供者发现与实际区块传输,并设计提供者条件对照。
- 根据测量结果设定网关冗余、超时和可用性验收指标。
拆解冷请求与热请求的链路
对递归网关请求 GET /ipfs/{CID} 时,若 CDN 或网关已有可用缓存,可能直接返回内容;否则网关需要通过内容路由找到提供者、建立连接并获取区块。非递归网关通常不会主动向网络获取缺失内容。因此,“同一 CID”不意味着“每次经历同一条链路”。

curl 的 time_starttransfer 是从请求开始到收到首个响应字节的累计时间,包含 DNS、连接、TLS、重定向及服务端等待;time_total 还包含响应体传输。time_namelookup、time_connect、time_appconnect 也是累计时点,不能直接相加。TTFB 高不能仅凭一条记录断言 DHT 慢。具体机制可查阅 IPFS 网关文档。
采集同一 CID 的首次与重复请求
准备 Bash 和 curl,保持网络出口不变。下面使用 IPFS 官方文档展示过的公开文件 CID,分别对 ipfs.io 和 dweb.link 各请求三次。脚本完整下载响应但不保存文件,不附加随机查询参数,以免改变 HTTP 缓存键;如本地另有正在运行的 Kubo,还会查询最多十条提供者记录。
#!/usr/bin/env bash
set -euo pipefail
CID="bafybeigdyrzt5sfp7udm7hu76uh7y26nf3efuylqabf3oclgtqy55fbzdi"
for gateway in "https://ipfs.io" "https://dweb.link"; do
for n in 1 2 3; do
# 每次使用相同的 CID 和 URL;计时单位为秒
curl -L -sS --connect-timeout 10 --max-time 60 -o /dev/null \
-w "gateway=${gateway} n=${n} http=%{http_code} dns=%{time_namelookup} tcp=%{time_connect} tls=%{time_appconnect} ttfb=%{time_starttransfer} total=%{time_total} bytes=%{size_download}\n" \
"${gateway}/ipfs/${CID}" || echo "request_error gateway=${gateway} n=${n}"
done
done
if command -v ipfs >/dev/null 2>&1 && ipfs id >/dev/null 2>&1; then
# 查询候选提供者,不等于验证对等连接或成功取回
ipfs routing findprovs -n 10 "$CID" || echo "provider_query_failed"
else
echo "provider_query_skipped: Kubo CLI/daemon unavailable"
fi预期输出(字段格式示意;<STATUS>、<SECONDS>、<BYTES> 均由实际环境决定):
gateway=https://ipfs.io n=1 http=<STATUS> dns=<SECONDS> tcp=<SECONDS> tls=<SECONDS> ttfb=<SECONDS> total=<SECONDS> bytes=<BYTES>
gateway=https://ipfs.io n=2 http=<STATUS> dns=<SECONDS> tcp=<SECONDS> tls=<SECONDS> ttfb=<SECONDS> total=<SECONDS> bytes=<BYTES>
gateway=https://ipfs.io n=3 http=<STATUS> dns=<SECONDS> tcp=<SECONDS> tls=<SECONDS> ttfb=<SECONDS> total=<SECONDS> bytes=<BYTES>
gateway=https://dweb.link n=1 http=<STATUS> dns=<SECONDS> tcp=<SECONDS> tls=<SECONDS> ttfb=<SECONDS> total=<SECONDS> bytes=<BYTES>
gateway=https://dweb.link n=2 http=<STATUS> dns=<SECONDS> tcp=<SECONDS> tls=<SECONDS> ttfb=<SECONDS> total=<SECONDS> bytes=<BYTES>
gateway=https://dweb.link n=3 http=<STATUS> dns=<SECONDS> tcp=<SECONDS> tls=<SECONDS> ttfb=<SECONDS> total=<SECONDS> bytes=<BYTES>
provider_query_skipped: Kubo CLI/daemon unavailable安装并启动 Kubo 时,最后一行可能改为零条或多条提供者 Peer ID;查询异常会打印 provider_query_failed,传输失败会额外打印 request_error。HTTP 请求成功通常得到 200;限流、网关超时或连接失败可能表现为 429、5xx 或 000,不能只统计耗时而忽略失败。公共网关可能早已缓存该 CID,故脚本中的“第 1 次”不保证是真正的冷请求;重定向链也计入总耗时。
隔离内容提供者数量的影响
切换 ipfs.io 与 dweb.link 只是在换 HTTP 入口,并未控制它们实际联系哪个提供者。要检验提供者条件,应在隔离测试环境中使用三台 Kubo 节点:A、B 存储内容,C 作为读取端。每组测试都使用一个尚未获取该 CID 的全新 C 节点,避免 C 自身的缓存掩盖差异。
- A 导入并递归 Pin 一个测试文件,记录其 CID;保持 A 在线,确保 C 可以通过
ipfs routing findprovs -n 10 <CID>发现候选来源并完成读取。 - 在 B 上通过
ipfs pin add <CID>复制并保留相同内容;必要时在 B 运行ipfs provide once <CID>,等待 C 的路由查询能发现 B 后,再让全新的 C 读取。 - 保持 B 在线而让 A 离线,换用另一全新 C 读取同一 CID,记录 TTFB、成功率及失败原因。旧提供者记录可能暂时仍列出 A,必须以实际取回为准。
下面是用于练习判读的假设数据,不是运行结果:
| 测试条件 | 实际可连接的提供者 | 冷请求 TTFB |
|---|---|---|
| 仅 A 在线 | A | 2.6 秒 |
| A、B 都在线 | A、B | 0.9 秒 |
| A 离线、B 在线 | B | 1.5 秒 |
第二组可能更快,但增加提供者并不保证线性降时;路由、距离、负载、网络出口同样影响结果。为排除内容大小差异,三组必须使用完全相同的 CID 和文件路径。findprovs 返回数量也不等于全网副本数量,更不证明这些节点可连接。
从采样记录定位瓶颈
先按网关、CID、时间窗口分别整理成功率、TTFB 中位数、P95 和总耗时 P95;评估延迟分位数时每组至少采集约 100 次请求;判断 99.9% 级成功率需覆盖更长时间及更多请求。以下证据只能用于缩小范围,不能单独证明根因:
- 首次慢、后续快:怀疑 CDN 或网关本地缓存命中;可结合响应中的
Age、Cache-Control和可能存在的X-Cache判断,但不同网关不一定提供这些头。 - 多次 TTFB 都高:在可控 Kubo 节点检查
ipfs routing findprovs、提供者连通性及区块传输;有记录但无法取回时,应继续排查 NAT、地址和对等连接。 429增多:优先检查公共网关限流或配额;502、504可能来自网关到上游的失败或超时,需要结合自身网关日志确认。http=000:先排查客户端 DNS、TLS、超时及网络出口,不能把它计为“IPFS 没有内容”。
设置公共服务依赖的上线边界
一套可执行的示例验收标准是:在至少两个网络出口持续采样,热请求 P95 不超过 0.8 秒、冷请求 P95 不超过 5 秒、HTTP 读取成功率不低于 99.9%。这些是项目自定的目标,不是 IPFS 协议承诺;要把首次访问、重复访问和错误响应分开统计,避免用缓存命中的优秀数据掩盖取回失败。
对需要稳定读取的业务内容,至少在两个不同故障域保留 Pin 副本,并部署可观测的自有网关或受控检索服务。将公共网关视为备用通道而非唯一入口;例如设定单次尝试最多 5 秒、失败后最多切换一次入口、整个请求预算 8 秒,超出即向应用返回明确错误。切换入口若仍依赖同一个离线提供者,不会解决内容缺失。
还应分别监控网关可用性、路由发现和真实 GET 取回,而不是只做首页健康检查。CDN 缓存提高的是命中请求速度,不替代 Pin、副本可连接性或来源验证;涉及数据正确性的应用可按需求使用 CAR 等可验证检索并自行校验 CID。