P2P 与分布式存储 / 系统课时

如何根据提供者记录定位内容

如何根据提供者记录定位内容

当节点只知道一个内容标识(CID),却不知道哪个节点保存了对应数据时,可以通过 Kademlia DHT 的 Provider Record 查找提供者。本课将完成一次本地内容发布与提供者查询实验,并明确区分“找到提供者”和“真正获取内容”这两个阶段。

学习目标

  • 理解 Provider Record 保存的信息,以及它与内容数据、普通 DHT 值记录的区别。
  • 使用 go-libp2p 的 Provide 和 FindProvidersAsync 发布并查询内容提供者。
  • 根据查询结果判断下一步如何连接提供者,并排查记录过期、地址失效等问题。

Provider Record 保存了什么

Provider Record(提供者记录)用于声明:某个 Peer ID 对应的节点声称能够提供指定内容。查询者使用 CID 定位这些节点,而不必事先知道节点的地址。

在内容寻址系统中,CID 标识内容,Peer ID 标识节点。以一个使用 SHA2-256 摘要和 raw 编码的 CIDv1 为例,提供者记录表达的是内容标识与提供者身份之间的关联,而不是内容字节本身。

信息 作用 是否代表实际内容
CID 对应的 Multihash 作为提供者发现的查找键 否
Provider Peer ID 标识声称能够提供该内容的节点 否
Multiaddr 可选的节点拨号地址信息 否
内容字节 需要通过独立的数据传输协议获取 是

需要区分两个容易混淆的操作:

  • FindPeer(ctx, peerID):已知节点身份,查找该节点的连接信息。
  • FindProvidersAsync(ctx, cid, count):已知内容标识,查找声称能够提供该内容的节点。

Provider Record 不是 PutValue 存储的普通值记录,也不是经过验证的内容持有证明。即使 DHT 返回一个提供者,该节点也可能已经离线、删除内容或无法建立连接。

发布和查询如何经过 DHT

假设节点 A 保存了内容 C,节点 D 希望获取 C,但只有它的 CID。A 与 D 不必提前建立直接连接,可以通过 DHT 中靠近查找键的节点完成提供者发现。

发布过程如下:

  1. A 使用内容字节计算或取得 CID,确认本地确实保存了可供请求的内容。
  2. A 调用 Provide(ctx, cid, true),通过 Kademlia 查找接近该内容键的 DHT 节点。
  3. A 向目标节点发送 ADD_PROVIDER,声明自己的 Peer ID。接收节点验证声明者身份后保存提供者信息。
  4. D 使用相同 CID 发起 GET_PROVIDERS 查询,沿着更接近目标键的节点逐步查找。
  5. D 获得一个或多个提供者的 Peer ID,以及可能附带的拨号地址。

IPFS Kademlia DHT 的典型提供者发布策略会面向接近查找键的约 20 个节点进行公告。具体存储数量受到可达节点数、查询结果和实现策略影响,不能保证每次都恰好写入 20 份记录。

内容提供者发布、DHT 查找与实际数据获取的关系

这条链路存在两个独立的成功条件:首先,DHT 必须能发现至少一个有效提供者;其次,应用必须能够连接该提供者并成功读取、校验内容。前一阶段成功不能替代后一阶段。

在本机发布并查询提供者

下面使用 Go 和 go-libp2p-kad-dht v0.42.2 的 API 完成最小实验。程序创建两个本地 Host:A 负责发布提供者记录,B 负责查询。两个节点使用独立 DHT 实例,监听地址由系统动态分配,避免固定端口冲突。

准备一个空目录,将下面的程序保存为 main.go。代码使用 ModeServer 让两端都能够响应 DHT 请求,并通过专用协议前缀隔离实验网络,不连接公共 IPFS DHT。

go
package main

import (
    "context"
    "fmt"
    "log"
    "time"

    cid "github.com/ipfs/go-cid"
    libp2p "github.com/libp2p/go-libp2p"
    dht "github.com/libp2p/go-libp2p-kad-dht"
    "github.com/libp2p/go-libp2p/core/host"
    "github.com/libp2p/go-libp2p/core/peer"
    mh "github.com/multiformats/go-multihash"
)

func newNode() (host.Host, *dht.IpfsDHT) {
    h, err := libp2p.New(
        libp2p.ListenAddrStrings("/ip4/127.0.0.1/tcp/0"),
    )
    if err != nil {
        log.Fatal(err)
    }
    kdht, err := dht.New(h,
        dht.Mode(dht.ModeServer),
        dht.ProtocolPrefix("/provider-demo"),
    )
    if err != nil {
        log.Fatal(err)
    }
    return h, kdht
}

func main() {
    ctx, cancel := context.WithTimeout(context.Background(), 30*time.Second)
    defer cancel()

    provider, providerDHT := newNode()
    defer provider.Close()
    defer providerDHT.Close()
    seeker, seekerDHT := newNode()
    defer seeker.Close()
    defer seekerDHT.Close()

    // 先建立连接并引导DHT,等待双方识别彼此的路由能力。
    err := seeker.Connect(ctx, peer.AddrInfo{
        ID: provider.ID(), Addrs: provider.Addrs(),
    })
    if err != nil {
        log.Fatal(err)
    }
    if err := providerDHT.Bootstrap(ctx); err != nil {
        log.Fatal(err)
    }
    if err := seekerDHT.Bootstrap(ctx); err != nil {
        log.Fatal(err)
    }

    for i := 0; i < 100; i++ {
        if providerDHT.RoutingTable().Size() > 0 &&
            seekerDHT.RoutingTable().Size() > 0 {
            break
        }
        time.Sleep(100 * time.Millisecond)
    }
    if providerDHT.RoutingTable().Size() == 0 ||
        seekerDHT.RoutingTable().Size() == 0 {
        log.Fatal("DHT 路由表尚未准备好")
    }

    // 使用内容摘要生成CID;内容字节不会随Provider Record传播。
    content := []byte("hello-provider")
    digest, err := mh.Sum(content, mh.SHA2_256, -1)
    if err != nil {
        log.Fatal(err)
    }
    contentCID := cid.NewCidV1(cid.Raw, digest)

    // true表示将提供者声明公告到DHT,而非仅保留本地记录。
    if err := providerDHT.Provide(ctx, contentCID, true); err != nil {
        log.Fatal(err)
    }

    // 查询节点寻找提供者,完整消费结果通道。
    found := false
    for info := range seekerDHT.FindProvidersAsync(ctx, contentCID, 1) {
        if info.ID == provider.ID() {
            found = true
        }
    }
    if !found {
        log.Fatal("未发现预期提供者")
    }
    fmt.Println("找到提供者: true")
}

在保存 main.go 的目录执行以下命令,安装所需依赖并运行程序。首次执行需要能够访问 Go 模块仓库;依赖版本和 Go 工具链要求以模块实际解析结果为准。

bash
go mod init provider-demo
go get github.com/libp2p/go-libp2p-kad-dht@v0.42.2
go mod tidy
go run .

预期输出(省略依赖下载信息):

text
找到提供者: true

实验中 Peer ID、CID 和监听端口由程序生成,实际取值可能不同。这里仅输出布尔验证结果,避免依赖动态 ID。若程序报告路由表未准备好,先检查本地连接和 DHT 协议识别,再重新运行。

这个实验实际完成了两项操作:节点 A 发布针对 contentCID 的提供者声明,节点 B 使用相同 CID 从 DHT 获取对应的 Peer ID。它没有实现文件服务,也没有从 A 向 B 传输 hello-provider 的内容字节。

找到提供者后怎样获取内容

FindProvidersAsync 返回的是 peer.AddrInfo,其中 ID 是提供者身份,Addrs 是可能存在的连接地址集合。地址可能为空,也可能由于节点移动或 NAT 变化而失效。

应用可以按下面的顺序处理查询结果:

  1. 对查询结果按 Peer ID 去重,过滤自己和已经判定不可用的节点。
  2. 有可用 Multiaddr 时,使用 libp2p Host 的 Connect 建立连接;没有地址时,尝试通过 Peerstore、Peer Routing 或其他已配置的发现方式补充地址。
  3. 连接成功后,通过应用已经实现的内容协议请求指定 CID。IPFS 场景可使用 Bitswap 获取内容块,但单独的 DHT API 不负责这一步。
  4. 收到内容后,根据 CID 指定的哈希算法和编解码规则验证数据。对于本实验的 raw CIDv1,可以直接重新计算原始字节的 SHA2-256 摘要并与 CID 的 Multihash 比较。
  5. 请求失败则尝试其他提供者,避免一个不可达节点阻塞整次内容获取。

例如,DHT 查询返回三个候选提供者 A、B、C:A 超时,B 返回错误内容,C 返回校验通过的内容。最终只能把 C 视为本次成功的数据来源。A 的网络失败和 B 的内容校验失败需要分别记录,不能统一解释成 DHT 查找失败。

查询为空和记录失效时如何处理

实际网络中,提供者记录有生命周期,节点地址也可能变化。可以根据故障发生的位置缩小排查范围。

现象 优先检查 可执行的处理
Provide 失败 是否完成 Bootstrap、路由表是否有可查询节点 检查 DHT 邻居和协议前缀,恢复连通后重新发布
FindProvidersAsync 无结果 查询 CID 是否一致、记录是否发布到同一个 DHT 网络 比较 CID 的 Multihash、检查网络隔离和查询超时
找到 Peer ID 但拨号失败 Multiaddr 是否过期、节点是否换网或位于不可达 NAT 后 重新发现地址,必要时通过中继建立连接
连接成功但请求不到内容 提供者是否实际保存内容、是否支持内容传输协议 检查内容服务、协议协商及内容块是否存在

提供者记录不会永久有效。IPFS Kademlia DHT 规范中的典型参数是约每 22 小时重新发布一次、约 48 小时后使未刷新的记录过期;这些数值属于特定网络的策略,不应当作为所有自建 DHT 的固定参数。可以查阅 libp2p DHT 文档 和相应网络的实现配置确认实际行为。

实践中至少要分别记录三个指标:提供者查询成功率、提供者连接成功率和内容校验成功率。只有将这三个阶段分开,才能准确判断故障发生在 DHT 查找、网络连接还是实际数据交付环节。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

如何根据提供者记录定位内容

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通