P2P 与分布式存储 / 系统课时

评估网关延迟与公共服务依赖

评估网关延迟与公共服务依赖

同一个 CID 首次通过 HTTP 网关读取可能耗时数秒,紧接着再读却明显变快。本课用固定内容和 curl 对比首次、重复及不同网关请求,再用 Kubo 查询提供者,判断延迟来自缓存、内容发现还是公共服务,并制定上线时的监控与降级边界。

学习目标

  • 采集 HTTP 状态码、首字节时间(TTFB)和总耗时,识别重复访问的变化。
  • 区分网关缓存、内容提供者发现与实际区块传输,并设计提供者条件对照。
  • 根据测量结果设定网关冗余、超时和可用性验收指标。

拆解冷请求与热请求的链路

对递归网关请求 GET /ipfs/{CID} 时,若 CDN 或网关已有可用缓存,可能直接返回内容;否则网关需要通过内容路由找到提供者、建立连接并获取区块。非递归网关通常不会主动向网络获取缺失内容。因此,“同一 CID”不意味着“每次经历同一条链路”。

公共网关的缓存命中、提供者发现和内容获取路径

curl 的 time_starttransfer 是从请求开始到收到首个响应字节的累计时间,包含 DNS、连接、TLS、重定向及服务端等待;time_total 还包含响应体传输。time_namelookup、time_connect、time_appconnect 也是累计时点,不能直接相加。TTFB 高不能仅凭一条记录断言 DHT 慢。具体机制可查阅 IPFS 网关文档。

采集同一 CID 的首次与重复请求

准备 Bash 和 curl,保持网络出口不变。下面使用 IPFS 官方文档展示过的公开文件 CID,分别对 ipfs.io 和 dweb.link 各请求三次。脚本完整下载响应但不保存文件,不附加随机查询参数,以免改变 HTTP 缓存键;如本地另有正在运行的 Kubo,还会查询最多十条提供者记录。

bash
#!/usr/bin/env bash
set -euo pipefail
CID="bafybeigdyrzt5sfp7udm7hu76uh7y26nf3efuylqabf3oclgtqy55fbzdi"

for gateway in "https://ipfs.io" "https://dweb.link"; do
  for n in 1 2 3; do
    # 每次使用相同的 CID 和 URL;计时单位为秒
    curl -L -sS --connect-timeout 10 --max-time 60 -o /dev/null \
      -w "gateway=${gateway} n=${n} http=%{http_code} dns=%{time_namelookup} tcp=%{time_connect} tls=%{time_appconnect} ttfb=%{time_starttransfer} total=%{time_total} bytes=%{size_download}\n" \
      "${gateway}/ipfs/${CID}" || echo "request_error gateway=${gateway} n=${n}"
  done
done

if command -v ipfs >/dev/null 2>&1 && ipfs id >/dev/null 2>&1; then
  # 查询候选提供者,不等于验证对等连接或成功取回
  ipfs routing findprovs -n 10 "$CID" || echo "provider_query_failed"
else
  echo "provider_query_skipped: Kubo CLI/daemon unavailable"
fi

预期输出(字段格式示意;<STATUS>、<SECONDS>、<BYTES> 均由实际环境决定):

text
gateway=https://ipfs.io n=1 http=<STATUS> dns=<SECONDS> tcp=<SECONDS> tls=<SECONDS> ttfb=<SECONDS> total=<SECONDS> bytes=<BYTES>
gateway=https://ipfs.io n=2 http=<STATUS> dns=<SECONDS> tcp=<SECONDS> tls=<SECONDS> ttfb=<SECONDS> total=<SECONDS> bytes=<BYTES>
gateway=https://ipfs.io n=3 http=<STATUS> dns=<SECONDS> tcp=<SECONDS> tls=<SECONDS> ttfb=<SECONDS> total=<SECONDS> bytes=<BYTES>
gateway=https://dweb.link n=1 http=<STATUS> dns=<SECONDS> tcp=<SECONDS> tls=<SECONDS> ttfb=<SECONDS> total=<SECONDS> bytes=<BYTES>
gateway=https://dweb.link n=2 http=<STATUS> dns=<SECONDS> tcp=<SECONDS> tls=<SECONDS> ttfb=<SECONDS> total=<SECONDS> bytes=<BYTES>
gateway=https://dweb.link n=3 http=<STATUS> dns=<SECONDS> tcp=<SECONDS> tls=<SECONDS> ttfb=<SECONDS> total=<SECONDS> bytes=<BYTES>
provider_query_skipped: Kubo CLI/daemon unavailable

安装并启动 Kubo 时,最后一行可能改为零条或多条提供者 Peer ID;查询异常会打印 provider_query_failed,传输失败会额外打印 request_error。HTTP 请求成功通常得到 200;限流、网关超时或连接失败可能表现为 429、5xx 或 000,不能只统计耗时而忽略失败。公共网关可能早已缓存该 CID,故脚本中的“第 1 次”不保证是真正的冷请求;重定向链也计入总耗时。

隔离内容提供者数量的影响

切换 ipfs.io 与 dweb.link 只是在换 HTTP 入口,并未控制它们实际联系哪个提供者。要检验提供者条件,应在隔离测试环境中使用三台 Kubo 节点:A、B 存储内容,C 作为读取端。每组测试都使用一个尚未获取该 CID 的全新 C 节点,避免 C 自身的缓存掩盖差异。

  1. A 导入并递归 Pin 一个测试文件,记录其 CID;保持 A 在线,确保 C 可以通过 ipfs routing findprovs -n 10 <CID> 发现候选来源并完成读取。
  2. 在 B 上通过 ipfs pin add <CID> 复制并保留相同内容;必要时在 B 运行 ipfs provide once <CID>,等待 C 的路由查询能发现 B 后,再让全新的 C 读取。
  3. 保持 B 在线而让 A 离线,换用另一全新 C 读取同一 CID,记录 TTFB、成功率及失败原因。旧提供者记录可能暂时仍列出 A,必须以实际取回为准。

下面是用于练习判读的假设数据,不是运行结果:

测试条件 实际可连接的提供者 冷请求 TTFB
仅 A 在线 A 2.6 秒
A、B 都在线 A、B 0.9 秒
A 离线、B 在线 B 1.5 秒

第二组可能更快,但增加提供者并不保证线性降时;路由、距离、负载、网络出口同样影响结果。为排除内容大小差异,三组必须使用完全相同的 CID 和文件路径。findprovs 返回数量也不等于全网副本数量,更不证明这些节点可连接。

从采样记录定位瓶颈

先按网关、CID、时间窗口分别整理成功率、TTFB 中位数、P95 和总耗时 P95;评估延迟分位数时每组至少采集约 100 次请求;判断 99.9% 级成功率需覆盖更长时间及更多请求。以下证据只能用于缩小范围,不能单独证明根因:

  • 首次慢、后续快:怀疑 CDN 或网关本地缓存命中;可结合响应中的 Age、Cache-Control 和可能存在的 X-Cache 判断,但不同网关不一定提供这些头。
  • 多次 TTFB 都高:在可控 Kubo 节点检查 ipfs routing findprovs、提供者连通性及区块传输;有记录但无法取回时,应继续排查 NAT、地址和对等连接。
  • 429 增多:优先检查公共网关限流或配额;502、504 可能来自网关到上游的失败或超时,需要结合自身网关日志确认。
  • http=000:先排查客户端 DNS、TLS、超时及网络出口,不能把它计为“IPFS 没有内容”。

设置公共服务依赖的上线边界

一套可执行的示例验收标准是:在至少两个网络出口持续采样,热请求 P95 不超过 0.8 秒、冷请求 P95 不超过 5 秒、HTTP 读取成功率不低于 99.9%。这些是项目自定的目标,不是 IPFS 协议承诺;要把首次访问、重复访问和错误响应分开统计,避免用缓存命中的优秀数据掩盖取回失败。

对需要稳定读取的业务内容,至少在两个不同故障域保留 Pin 副本,并部署可观测的自有网关或受控检索服务。将公共网关视为备用通道而非唯一入口;例如设定单次尝试最多 5 秒、失败后最多切换一次入口、整个请求预算 8 秒,超出即向应用返回明确错误。切换入口若仍依赖同一个离线提供者,不会解决内容缺失。

还应分别监控网关可用性、路由发现和真实 GET 取回,而不是只做首页健康检查。CDN 缓存提高的是命中请求速度,不替代 Pin、副本可连接性或来源验证;涉及数据正确性的应用可按需求使用 CAR 等可验证检索并自行校验 CID。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

评估网关延迟与公共服务依赖

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通