P2P 与分布式存储 / 系统课时

DHT 怎样找到内容的提供节点

DHT 怎样找到内容的提供节点

拿到一个 CID,并不意味着客户端已经知道数据存在哪台机器上。本篇以 IPFS 使用的 Kademlia DHT 为例,追踪内容提供者如何发布记录、请求节点如何逐步找到提供者,以及为什么查询成功之后仍可能无法读取数据。

学习目标

  • 理解 CID、Peer ID、提供者记录与 DHT 路由节点的不同职责。
  • 能追踪一次基于 XOR 距离的迭代查询,以及后续的数据获取过程。
  • 使用 Kubo 命令分别验证提供者发现与实际内容读取,并判断常见失败位置。

提供者记录保存的是什么

DHT(Distributed Hash Table,分布式哈希表)把键值映射分散存放在多个节点上。IPFS 使用 Kademlia DHT 进行内容路由,其中一种重要数据就是提供者记录(Provider Record)。

假设节点 A 保存了 CID 为 C 的内容,节点 B 也保存了同样的内容。两者可以分别向网络宣告自己能够提供 C 对应的数据。

DHT 维护的是内容标识与提供者身份之间的关联,而不是文件本身。可以这样区分:

信息 用途 是否代表数据本体
CID 标识内容或内容图中的一个对象 否
Peer ID 标识一个网络节点 否
Provider Record 声明某节点可以提供指定内容 否
Multiaddr 描述连接节点可使用的网络地址与协议 否
内容块 实际传输和校验的数据 是

例如,DHT 查询 CID C 后返回节点 A 和节点 B 的 Peer ID,只说明网络发现了两个候选提供者,并不说明 A、B 此刻一定在线,更不说明文件字节已经到达客户端。

提供者记录通常由键空间中靠近目标键的 DHT 服务节点维护。保存记录的节点 N 和真正保存内容的节点 A 不必是同一台机器。IPFS 会依据内容的多重哈希构造提供者查询键,并将其映射到 DHT 键空间;并不是把可读的 CID 字符串直接当作网络地址。

Kademlia 如何逐步找到提供者

Kademlia 不要求每个节点保存全网路由表。节点只维护一部分其他节点的信息,并按 XOR 距离组织路由桶。查询时,发起请求的节点不断寻找距离目标键更近的 DHT 节点。

先看一个简化的 4 位地址空间。目标位置为 1010,当前已知三个节点:

节点 节点位置 与目标的 XOR 距离
P 0010 1000,即 8
Q 1110 0100,即 4
R 1011 0001,即 1

这里 R 比 Q、P 更接近目标。真实 IPFS 使用更长的哈希空间,节点和记录键需要经过相应的哈希映射;上面的 4 位数值仅用于解释 XOR 距离。

一次提供者查询可以按以下顺序理解:

  1. 请求节点从自己的路由表中选出一批距离目标键较近的已知节点。
  2. 向这些节点发起并发查询,询问是否掌握对应的提供者记录,以及是否知道更接近目标的节点。
  3. 收集返回的 Peer ID 和更近的路由节点,更新待查询集合。
  4. 继续查询尚未访问的近邻节点,直到找到满足请求数量的提供者,或达到查询终止条件。
  5. 将发现的提供者 Peer ID 交给后续连接和数据获取流程。

需要注意:这是由请求节点组织的迭代查询。不能简单理解成 P 收到请求后必然替客户端转发给 Q,再由 Q 转发给 R。请求节点可以同时询问多个候选节点,以降低单节点超时造成的等待。

对于已经宣告的内容,查询最终可能从靠近目标键的 DHT 节点得到多个提供者记录。它们提供的是候选位置,而不是内容字节。

发现提供者之后怎样读取数据

完整的数据访问可以分成三个阶段:发布、发现和传输。

  1. 发布阶段:持有内容的节点 A 将 CID 对应的提供者信息宣告到路由系统。DHT 中靠近该键的服务节点保存相关记录。
  2. 发现阶段:请求节点 R 根据 CID 查询 DHT,得到提供者 A 的 Peer ID;如果缺少连接地址,再通过节点路由等机制获取可用的 Multiaddr。
  3. 传输阶段:R 尝试与 A 建立 libp2p 连接,通过 Bitswap 等数据交换机制请求内容块,并依据 CID 对收到的数据进行完整性校验。

DHT 提供者发布、迭代查询与内容传输的数据流

这三个阶段的成功条件不同。DHT 查询只需找到记录;建立连接还要求地址可用、网络可达;读取内容还要求提供者实际保存对应块,并能在请求期限内完成传输。

例如,A 已经断网,但提供者记录尚未过期,R 仍可能查到 A 的 Peer ID。即使 R 能连接 A,如果 A 已经删除相关块,也无法凭借那条记录重新生成内容。

CID 的完整性校验能够检测返回内容是否匹配预期标识,却不能保证网络中始终有节点保留这份数据。

用两台 Kubo 节点验证

下面使用支持 ipfs routing findprovs 与 ipfs provide once 的 Kubo 版本,在两台相互独立的节点 A、B 上进行验证。两台机器均需安装 Kubo、初始化仓库、运行 ipfs daemon,并能连接对应的 IPFS 网络。命令按 Bash 环境编写。

先在节点 A 创建一个很小的文本文件,将其加入本地 IPFS 仓库并手动发起提供者宣告。

bash
# 在节点 A 创建文件并取得内容 CID
printf 'dht-demo\n' > hello-dht.txt
CID=$(ipfs add -Q hello-dht.txt)
printf 'CID=%s\n' "$CID"

# 将当前 CID 提交给内容提供系统宣告
ipfs provide once "$CID" >/dev/null

预期输出:

text
CID=<ID>

这里的 <ID> 代表实际生成的 CID,不同导入参数和 Kubo 版本可能得到不同值。ipfs add 默认会固定添加的内容,避免它立即成为垃圾回收的候选对象。

ipfs provide once 在当前 Kubo 命令参考中属于实验性命令。它可能先将任务加入宣告队列,命令执行结束并不保证其他节点已经能够查询到记录。

在节点 B 输入节点 A 打印的 CID,再分别执行提供者查询和内容读取。

bash
# 在节点 B 粘贴节点 A 输出的 CID
read -r -p 'CID: ' CID

# 仅查看已发现的候选内容提供者
ipfs routing findprovs --num-providers=5 "$CID"

# 单独发起实际内容读取
ipfs cat "$CID"

预期结果:当宣告已传播、节点 A 可以访问且仍持有完整内容时,查询可能输出包含 A 在内的提供者 Peer ID,随后读取输出文件内容。例如:

text
<ID>
dht-demo

这里的 <ID> 表示实际提供者 Peer ID,可能返回多个提供者,也可能因网络状态而暂时没有结果。ipfs cat 成功打印 dht-demo,才说明本次已经成功获得并验证对应内容;单独出现 Peer ID 不足以证明读取成功。

还要区分 DHT 协议与 Kubo 的内容路由接口:ipfs routing findprovs 查询的是节点所配置的内容路由系统。某些配置可能结合 DHT 与 IPNI 等其他发现渠道,因此不能只凭命令有输出就断定记录一定来自 DHT。

查到提供者却无法读取时检查什么

把定位过程拆成发现、寻址和传输三个检查点,比直接把所有失败归结为 DHT 故障更有效。

观察到的现象 优先检查 可能的处理
findprovs 没有结果 提供者是否宣告、网络是否连通、记录是否已经传播 在 A 检查守护进程,必要时重新执行 ipfs provide once
已有 Peer ID,但找不到地址 Peer ID 对应的节点地址是否可发现 在 B 执行 ipfs routing findpeer <ID> 检查返回的 Multiaddr
已有地址,但连接失败 NAT、防火墙、节点离线或传输协议不兼容 检查 A 的可达性、连接日志和网络配置
能连接,但 ipfs cat 失败 内容块是否仍存在、文件 DAG 的其他块是否缺失 在 A 检查本地数据与固定状态,例如 ipfs pin ls <CID>

其中,<ID> 和 <CID> 都应替换成真实值。提供者记录有生命周期,重新宣告也只能改善发现过程,不能修复已经丢失的内容块。

另外,findprovs 查询不到提供者,不一定说明内容已经消失。原因可能是记录未传播、路由查询失败,或者还有尚未通过当前路由渠道发现的持有者。同样,ipfs cat 成功也不能单独证明本次读取一定经过了 DHT,因为数据可能已经存在于本地缓存,或通过其他内容路由途径被发现。

在生产系统中,应将三个指标分别监控:提供者发现成功率、提供者连接成功率,以及内容读取成功率。只有同时检查这三项,才能区分路由信息缺失、网络不可达和实际数据不可用。

相关命令可核对 Kubo CLI 官方参考,提供者记录与迭代查询机制可参考 IPFS DHT 官方说明。DHT 解决的是去中心化环境中如何发现候选内容位置;数据是否真正可用,仍取决于提供者在线状态、内容保留情况和实际传输结果。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

DHT 怎样找到内容的提供节点

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通