P2P 与分布式存储 / 系统课时

区分本地导入和网络可用性

区分本地导入和网络可用性

执行 ipfs add 得到 CID 后,文件可能只存在于当前节点,其他节点仍然无法读取。本课通过两个独立 Kubo 节点,依次验证本地导入、内容提供者发现和远端实际取回三个阶段,并学会判断内容不可用究竟卡在哪一层。

学习目标

  • 区分本地持有区块、网络发现提供者和远端成功获取内容三种状态。
  • 使用 Kubo 命令验证本地导入、提供者查询与跨节点读取。
  • 根据查询和读取结果定位内容不可用的原因。

CID 不等于文件已经在网络上可用

CID 是内容标识符,它根据内容块的编码与哈希等信息构造,用来定位和验证内容,而不是一个保证文件始终在线的下载地址。

对于同一个 CID,至少要分别检查三个条件:

状态 已经成立的事实 尚未保证的事情
本地导入完成 节点 A 已写入内容块并得到 CID 其他节点能发现 A
提供者可被发现 节点 B 能查询到声称提供内容的 Peer ID B 能连接提供者并取得完整数据
远端读取成功 B 已取得所需区块并完成内容校验 原提供者未来仍持续在线

例如,节点 A 导入 hello.txt 后立即断网。A 仍能通过本地 CID 读取文件,但节点 B 不一定能发现或连接 A。即使 B 曾经发现 A,提供者记录也可能尚未过期,因此发现成功不能代替读取验证。

IPFS 本地导入、提供者发现与远端读取的分层关系

这里还要区分两种操作:ipfs add 将内容导入本地仓库,ipfs pin add 则用于确保指定内容在本地受到固定保护,避免正常垃圾回收将其删除。两者都不意味着内容已经复制到其他机器。

在节点 A 导入并验证文件

准备两台能够相互通信的机器,分别安装 Kubo。以下命令适用于支持 ipfs add、ipfs cat、ipfs id 和 ipfs routing 的 Kubo 版本。每台机器使用独立仓库,不能让两个节点同时操作同一个仓库。

先在节点 A 完成初始化并启动守护进程。首次初始化只需执行一次;如果已经存在仓库,跳过初始化。

bash
ipfs init
ipfs daemon

预期结果:终端最终出现以下就绪提示,其他初始化信息可能随版本变化。

text
Daemon is ready

保持守护进程运行,在节点 A 的另一个终端执行:

bash
printf 'hello ipfs\n' > hello.txt
ipfs add --cid-version=1 hello.txt
ipfs id -f='<id>\n'

预期输出示意:

text
added <CID> hello.txt
<PEER_ID_A>

其中 <CID> 代表实际生成的 CID,<PEER_ID_A> 代表节点 A 的 Peer ID。CID 由文件内容和导入参数决定;Peer ID 标识节点身份,二者不能混用。实际命令输出中的 CID 不带尖括号。

复制实际 CID,再执行本地读取:

bash
ipfs cat <CID>

预期输出:

text
hello ipfs

这里的 <CID> 必须替换为上一步实际输出的值。读取成功说明节点 A 当前可以解析该 CID 并取得文件内容,但尚未证明网络中的其他节点可以访问。

默认的 ipfs add 会固定导入的内容。可以进一步检查:

bash
ipfs pin ls <CID> --type=recursive

预期结果:输出包含指定 CID 及其 recursive 固定类型。不同 Kubo 版本的格式可能有所不同。固定保护针对本地仓库,不是远端可用性的证明。

在节点 B 验证提供者发现

节点 B 需要使用自己的独立 Kubo 仓库并运行守护进程,且两台机器应加入同一个可互通的 IPFS 网络。公共网络环境下,提供者发布和 DHT 查询可能需要一段时间;局域网隔离测试则需要另外配置可用的路由和连接方式。

在节点 B 执行:

bash
ipfs routing findprovs <CID>

预期结果:如果提供者记录已经传播且查询成功,输出可能包含节点 A 的 Peer ID:

text
<PEER_ID_A>

实际输出可能有多个 Peer ID,也可能暂时为空。空结果不等于文件不存在,只说明这次查询未找到可用的提供者记录。可能的原因包括节点 A 尚未完成提供者发布、DHT 路由不可用、记录已过期,或者两个节点使用不同的路由环境。

findprovs 只执行提供者发现,不会把文件下载到节点 B。提供者记录用于指示哪些节点可能持有内容;实际数据仍需要通过节点间的数据交换协议获取。

如果节点 A 的提供者记录尚未传播,可在 A 上执行:

bash
ipfs routing provide <CID>

预期结果:命令正常结束,表示提供操作已完成;通常不需要期待固定的文本输出。此操作不保证其他节点立即查到记录,也不保证节点 A 对外可连接。再次在 B 上查询时,应为网络传播留出时间。

在节点 B 验证真正的跨节点读取

即使 findprovs 已返回节点 A 的 Peer ID,节点 B 仍可能因为 NAT、防火墙、节点离线或连接失败而无法取得区块。需要用真实读取操作进行端到端验证。

为了排除 B 已经缓存内容的干扰,优先使用尚未读取过该 CID 的全新节点 B。在 B 上执行:

bash
ipfs cat <CID> > received.txt
cat received.txt

预期输出:

text
hello ipfs

该结果证明节点 B 成功取得并还原了对应内容。Kubo 在获取内容块时会根据 CID 所包含的哈希信息进行完整性验证。对于多块 UnixFS 文件,读取还需要取得相关 DAG 节点及数据块。

可以进一步比较两端文件的 SHA-256 摘要。以下命令分别在节点 A 和节点 B 执行:

bash
sha256sum hello.txt
bash
sha256sum received.txt

预期结果:两条输出的文件名不同,但前面的 64 位十六进制摘要完全相同。sha256sum 适用于常见 Linux 环境;macOS 可使用 shasum -a 256。

根据失败阶段定位问题

当远端无法读取时,不要立即重新导入文件。先按本地内容、提供者发现、节点连接和区块获取的顺序检查。

观察结果 优先检查 处理方向
A 本地 ipfs cat 失败 CID 是否正确、内容块是否完整 核对 CID,必要时重新导入
A 可读,B 查询不到提供者 提供者发布、DHT 路由、网络环境 检查守护进程和路由状态,重新发布后等待传播
B 找到提供者但读取失败 libp2p 连接、NAT、防火墙、提供者在线状态 检查实际连接与可达地址
B 曾经读取成功,后来失败 提供者是否离线、区块是否被回收 检查副本和固定状态

可在节点 B 查看当前已建立的对等连接:

bash
ipfs swarm peers

预期结果:输出零行或多行已连接对等节点的多地址,具体地址和 Peer ID 随环境变化。此命令展示当前连接,并不保证列表中一定包含提供者 A,也不证明特定 CID 可以读取。

如果测试要求 B 必须直接连接 A,可在 A 上通过 ipfs id 获取实际可达的监听地址与 Peer ID,构造完整的 libp2p 多地址,然后在 B 上执行:

bash
ipfs swarm connect <MULTIADDR_A>

预期结果:连接成功时返回包含目标多地址的成功信息;失败时返回具体连接错误。<MULTIADDR_A> 必须替换为真实的完整多地址,例如包含 /ip4/、/tcp/ 和 /p2p/ 协议段的地址。不能直接把 A 的回环地址 127.0.0.1 当作跨机器可达地址。

用固定与副本保障后续可用性

一次远端读取成功不能保证文件长期在线。假设只有节点 A 保存文件,而 A 关闭守护进程或删除本地数据,那么新节点可能无法再取得完整内容。

对于需要持续提供的文件,应至少安排一个长期在线的节点保存完整副本,并在该节点上固定内容:

bash
ipfs pin add <CID>
ipfs pin ls <CID> --type=recursive

预期结果:第一条命令完成内容固定,第二条命令显示对应 CID 的递归固定记录。执行前需要确保节点能够取得 CID 所引用的全部必要区块;如果缺少区块且无法从网络获取,固定操作可能失败。

实际部署中可以安排两个独立节点持有副本,并定期从第三个未缓存内容的节点执行 ipfs cat 验证。两个副本可以提高抗单点故障能力,但不能保证绝对可用:两台机器同时离线、网络隔离或路由发现失败时,内容仍可能不可访问。

最终应把三种证据分别记录:A 本地能够按 CID 读取、B 能发现至少一个候选提供者、B 能实际取回并校验文件。只有最后一项才能证明指定时间和网络条件下的远端内容获取确实成功。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

区分本地导入和网络可用性

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通