P2P 与分布式存储 / 系统课时
如何根据提供者记录定位内容
如何根据提供者记录定位内容
当节点只知道一个内容标识(CID),却不知道哪个节点保存了对应数据时,可以通过 Kademlia DHT 的 Provider Record 查找提供者。本课将完成一次本地内容发布与提供者查询实验,并明确区分“找到提供者”和“真正获取内容”这两个阶段。
学习目标
- 理解 Provider Record 保存的信息,以及它与内容数据、普通 DHT 值记录的区别。
- 使用 go-libp2p 的
Provide和FindProvidersAsync发布并查询内容提供者。 - 根据查询结果判断下一步如何连接提供者,并排查记录过期、地址失效等问题。
Provider Record 保存了什么
Provider Record(提供者记录)用于声明:某个 Peer ID 对应的节点声称能够提供指定内容。查询者使用 CID 定位这些节点,而不必事先知道节点的地址。
在内容寻址系统中,CID 标识内容,Peer ID 标识节点。以一个使用 SHA2-256 摘要和 raw 编码的 CIDv1 为例,提供者记录表达的是内容标识与提供者身份之间的关联,而不是内容字节本身。
| 信息 | 作用 | 是否代表实际内容 |
|---|---|---|
| CID 对应的 Multihash | 作为提供者发现的查找键 | 否 |
| Provider Peer ID | 标识声称能够提供该内容的节点 | 否 |
| Multiaddr | 可选的节点拨号地址信息 | 否 |
| 内容字节 | 需要通过独立的数据传输协议获取 | 是 |
需要区分两个容易混淆的操作:
FindPeer(ctx, peerID):已知节点身份,查找该节点的连接信息。FindProvidersAsync(ctx, cid, count):已知内容标识,查找声称能够提供该内容的节点。
Provider Record 不是 PutValue 存储的普通值记录,也不是经过验证的内容持有证明。即使 DHT 返回一个提供者,该节点也可能已经离线、删除内容或无法建立连接。
发布和查询如何经过 DHT
假设节点 A 保存了内容 C,节点 D 希望获取 C,但只有它的 CID。A 与 D 不必提前建立直接连接,可以通过 DHT 中靠近查找键的节点完成提供者发现。
发布过程如下:
- A 使用内容字节计算或取得 CID,确认本地确实保存了可供请求的内容。
- A 调用
Provide(ctx, cid, true),通过 Kademlia 查找接近该内容键的 DHT 节点。 - A 向目标节点发送
ADD_PROVIDER,声明自己的 Peer ID。接收节点验证声明者身份后保存提供者信息。 - D 使用相同 CID 发起
GET_PROVIDERS查询,沿着更接近目标键的节点逐步查找。 - D 获得一个或多个提供者的 Peer ID,以及可能附带的拨号地址。
IPFS Kademlia DHT 的典型提供者发布策略会面向接近查找键的约 20 个节点进行公告。具体存储数量受到可达节点数、查询结果和实现策略影响,不能保证每次都恰好写入 20 份记录。

这条链路存在两个独立的成功条件:首先,DHT 必须能发现至少一个有效提供者;其次,应用必须能够连接该提供者并成功读取、校验内容。前一阶段成功不能替代后一阶段。
在本机发布并查询提供者
下面使用 Go 和 go-libp2p-kad-dht v0.42.2 的 API 完成最小实验。程序创建两个本地 Host:A 负责发布提供者记录,B 负责查询。两个节点使用独立 DHT 实例,监听地址由系统动态分配,避免固定端口冲突。
准备一个空目录,将下面的程序保存为 main.go。代码使用 ModeServer 让两端都能够响应 DHT 请求,并通过专用协议前缀隔离实验网络,不连接公共 IPFS DHT。
package main
import (
"context"
"fmt"
"log"
"time"
cid "github.com/ipfs/go-cid"
libp2p "github.com/libp2p/go-libp2p"
dht "github.com/libp2p/go-libp2p-kad-dht"
"github.com/libp2p/go-libp2p/core/host"
"github.com/libp2p/go-libp2p/core/peer"
mh "github.com/multiformats/go-multihash"
)
func newNode() (host.Host, *dht.IpfsDHT) {
h, err := libp2p.New(
libp2p.ListenAddrStrings("/ip4/127.0.0.1/tcp/0"),
)
if err != nil {
log.Fatal(err)
}
kdht, err := dht.New(h,
dht.Mode(dht.ModeServer),
dht.ProtocolPrefix("/provider-demo"),
)
if err != nil {
log.Fatal(err)
}
return h, kdht
}
func main() {
ctx, cancel := context.WithTimeout(context.Background(), 30*time.Second)
defer cancel()
provider, providerDHT := newNode()
defer provider.Close()
defer providerDHT.Close()
seeker, seekerDHT := newNode()
defer seeker.Close()
defer seekerDHT.Close()
// 先建立连接并引导DHT,等待双方识别彼此的路由能力。
err := seeker.Connect(ctx, peer.AddrInfo{
ID: provider.ID(), Addrs: provider.Addrs(),
})
if err != nil {
log.Fatal(err)
}
if err := providerDHT.Bootstrap(ctx); err != nil {
log.Fatal(err)
}
if err := seekerDHT.Bootstrap(ctx); err != nil {
log.Fatal(err)
}
for i := 0; i < 100; i++ {
if providerDHT.RoutingTable().Size() > 0 &&
seekerDHT.RoutingTable().Size() > 0 {
break
}
time.Sleep(100 * time.Millisecond)
}
if providerDHT.RoutingTable().Size() == 0 ||
seekerDHT.RoutingTable().Size() == 0 {
log.Fatal("DHT 路由表尚未准备好")
}
// 使用内容摘要生成CID;内容字节不会随Provider Record传播。
content := []byte("hello-provider")
digest, err := mh.Sum(content, mh.SHA2_256, -1)
if err != nil {
log.Fatal(err)
}
contentCID := cid.NewCidV1(cid.Raw, digest)
// true表示将提供者声明公告到DHT,而非仅保留本地记录。
if err := providerDHT.Provide(ctx, contentCID, true); err != nil {
log.Fatal(err)
}
// 查询节点寻找提供者,完整消费结果通道。
found := false
for info := range seekerDHT.FindProvidersAsync(ctx, contentCID, 1) {
if info.ID == provider.ID() {
found = true
}
}
if !found {
log.Fatal("未发现预期提供者")
}
fmt.Println("找到提供者: true")
}在保存 main.go 的目录执行以下命令,安装所需依赖并运行程序。首次执行需要能够访问 Go 模块仓库;依赖版本和 Go 工具链要求以模块实际解析结果为准。
go mod init provider-demo
go get github.com/libp2p/go-libp2p-kad-dht@v0.42.2
go mod tidy
go run .预期输出(省略依赖下载信息):
找到提供者: true实验中 Peer ID、CID 和监听端口由程序生成,实际取值可能不同。这里仅输出布尔验证结果,避免依赖动态 ID。若程序报告路由表未准备好,先检查本地连接和 DHT 协议识别,再重新运行。
这个实验实际完成了两项操作:节点 A 发布针对 contentCID 的提供者声明,节点 B 使用相同 CID 从 DHT 获取对应的 Peer ID。它没有实现文件服务,也没有从 A 向 B 传输 hello-provider 的内容字节。
找到提供者后怎样获取内容
FindProvidersAsync 返回的是 peer.AddrInfo,其中 ID 是提供者身份,Addrs 是可能存在的连接地址集合。地址可能为空,也可能由于节点移动或 NAT 变化而失效。
应用可以按下面的顺序处理查询结果:
- 对查询结果按 Peer ID 去重,过滤自己和已经判定不可用的节点。
- 有可用 Multiaddr 时,使用 libp2p Host 的
Connect建立连接;没有地址时,尝试通过 Peerstore、Peer Routing 或其他已配置的发现方式补充地址。 - 连接成功后,通过应用已经实现的内容协议请求指定 CID。IPFS 场景可使用 Bitswap 获取内容块,但单独的 DHT API 不负责这一步。
- 收到内容后,根据 CID 指定的哈希算法和编解码规则验证数据。对于本实验的
rawCIDv1,可以直接重新计算原始字节的 SHA2-256 摘要并与 CID 的 Multihash 比较。 - 请求失败则尝试其他提供者,避免一个不可达节点阻塞整次内容获取。
例如,DHT 查询返回三个候选提供者 A、B、C:A 超时,B 返回错误内容,C 返回校验通过的内容。最终只能把 C 视为本次成功的数据来源。A 的网络失败和 B 的内容校验失败需要分别记录,不能统一解释成 DHT 查找失败。
查询为空和记录失效时如何处理
实际网络中,提供者记录有生命周期,节点地址也可能变化。可以根据故障发生的位置缩小排查范围。
| 现象 | 优先检查 | 可执行的处理 |
|---|---|---|
Provide 失败 |
是否完成 Bootstrap、路由表是否有可查询节点 | 检查 DHT 邻居和协议前缀,恢复连通后重新发布 |
FindProvidersAsync 无结果 |
查询 CID 是否一致、记录是否发布到同一个 DHT 网络 | 比较 CID 的 Multihash、检查网络隔离和查询超时 |
| 找到 Peer ID 但拨号失败 | Multiaddr 是否过期、节点是否换网或位于不可达 NAT 后 | 重新发现地址,必要时通过中继建立连接 |
| 连接成功但请求不到内容 | 提供者是否实际保存内容、是否支持内容传输协议 | 检查内容服务、协议协商及内容块是否存在 |
提供者记录不会永久有效。IPFS Kademlia DHT 规范中的典型参数是约每 22 小时重新发布一次、约 48 小时后使未刷新的记录过期;这些数值属于特定网络的策略,不应当作为所有自建 DHT 的固定参数。可以查阅 libp2p DHT 文档 和相应网络的实现配置确认实际行为。
实践中至少要分别记录三个指标:提供者查询成功率、提供者连接成功率和内容校验成功率。只有将这三个阶段分开,才能准确判断故障发生在 DHT 查找、网络连接还是实际数据交付环节。