P2P 与分布式存储 / 系统课时
知道 CID 为什么仍可能读取失败
知道 CID 为什么仍可能读取失败
拿到 CID 后,文件仍可能下载失败:唯一提供者可能离线,本机临时缓存可能被回收,查询到的提供者也可能无法连接。本篇用可复现的清理实验区分内容可验证与内容可获取,并给出 Pinning、持续托管和多节点副本的验收方法。
学习目标
- 说明 CID、提供者记录和实际数据副本分别负责什么。
- 复现未 Pin 的内容在垃圾回收后无法离线读取的现象。
- 为需要持续访问的对象制定多节点保存与故障验收条件。
CID 只标识内容,不负责保存
CID 是内容标识符,用来定位并验证特定的内容结构;它不是下载地址,也不是一份永不丢失的存储承诺。读者要成功读取,通常需要先发现提供者,再连通提供者并取得构成文件的完整数据块。任何一个环节失败,都可能导致 CID 正确但读取失败。
以一个包含多个数据块的文件为例,即使根 CID 已知,如果缺少某个必需子块,文件仍不能完整重建。提供者记录仅说明某节点曾声明能提供内容,不等于该节点当前在线、可达或确实保有完整数据。
节点离线和缓存清理怎样造成断链
假设 A 是唯一长期保存对象的节点,B 曾通过 ipfs cat 下载该对象,但没有 Pin。按时间顺序观察:
- 发布时:A 保存并提供对象,读者 C 持有 CID;此时 C 可以经网络向 A 取回内容。
- A 离线后:C 仍知道 CID,但找不到可连接的完整数据提供者;B 可能暂时还能从自己的本地缓存读取。
- B 清理缓存后:B 的未固定数据块被垃圾回收;若其他节点也没有完整副本,C 和 B 都无法靠 CID 恢复数据。
- 增加独立副本后:若 D、E 已事先完整 Pin 并持续在线,A 离线时 C 仍可从 D 或 E 下载,收到的数据仍按 CID 校验。

用隔离仓库复现 Pin 与垃圾回收
下面用 Kubo 0.43 系列的 CLI 演示本地保存边界。适用于安装了 ipfs 的 macOS/Linux Bash 环境;全程离线,脚本创建临时仓库,不触碰日常使用的 IPFS 仓库。ipfs add 默认会 Pin;特意使用 --pin=false 才能模拟非持久缓存。
#!/usr/bin/env bash
set -euo pipefail
export IPFS_PATH="$(mktemp -d)"
sample="$(mktemp)"
trap 'rm -rf "$IPFS_PATH"; rm -f "$sample"' EXIT
ipfs init >/dev/null 2>&1
printf 'retain-demo\n' > "$sample"
# 未固定的内容能临时读取,但不受垃圾回收保护。
cid="$(ipfs --offline add --pin=false -Q "$sample")"
ipfs --offline cat "$cid" >/dev/null
printf '初次读取:成功\n'
ipfs --offline repo gc >/dev/null
if ipfs --offline cat "$cid" >/dev/null 2>&1; then
printf '清理后读取:成功\n'
else
printf '清理后读取:失败\n'
fi
# 重新导入并使用默认 Pin,随后再次执行 GC。
ipfs --offline add -Q "$sample" >/dev/null
ipfs --offline repo gc >/dev/null
ipfs --offline cat "$cid" >/dev/null
printf '固定后读取:成功\n'预期输出:
初次读取:成功
清理后读取:失败
固定后读取:成功第一次清理后,CID 没变,丢失的是本地数据块;再次导入并 Pin 后,相同 CID 才重新可读。实验刻意禁用联网,因此不会从其他节点重新下载。实际联网时,即便本地缓存被清理,只要仍有可达提供者,也可能自动取回内容。ipfs pin add <CID> 可以保护当前节点已取得的完整对象;如果所有源副本已丢失,单独提交一个 CID 不能凭空创建数据。
持续托管与多副本如何分工
假设业务发布 10 GiB 的不可变资源包,要求单节点故障后仍能下载。可先采用 3 个跨故障域节点,各自完整保存并 Pin 相同 CID,而不是把 3 个 CID 写进数据库就算作 3 份副本。
| 措施 | 真正解决的问题 | 仍然存在的风险 |
|---|---|---|
| 单节点递归 Pin | 防止该节点 GC 删除根对象及其子块 | 节点离线、磁盘损坏或网络隔离 |
| 持续托管与内容通告 | 让节点长期在线、可连接且容易被发现 | 唯一托管者故障仍会失联 |
| 三节点独立完整副本 | 某一节点故障时仍有其他数据来源 | 同地域、同账户或同供应商的相关故障 |
按完整复制计算,3 份 10 GiB 对象约占用 30 GiB 原始数据空间,不含索引和运行开销。不要把“3 个提供者记录”直接当成“3 个有效副本”:记录可能过期,多个记录也可能对应未完成下载或不可达的节点。
用故障注入验收实际可用性
可以给上述 3 节点方案设一组明确的项目验收条件:
- 保存完整:在节点 A、D、E 分别检查
ipfs pin ls <CID>,确保目标被递归固定,并逐节点完成一次本地读取。 - 网络可达:让一台没有缓存的新读者执行
ipfs routing findprovs <CID>和ipfs cat <CID>,分别检查提供者发现与实际下载;能发现记录但取不到内容,仍判失败。 - 单点故障:停止 A 的 Kubo 守护进程,从新读者重新获取完整文件;设定例如 30 秒内成功的项目阈值,连续测 3 次。
- 清缓存复测:在测试读者清理未 Pin 缓存,或直接换一个干净节点,再重复下载,避免把本地缓存命中误判为远端可用。
- 日常巡检:例如每 5 分钟记录各副本的进程状态、可达性、Pin 状态和独立读取结果;单一来源恢复失败后立即检查剩余副本并补齐冗余。
ipfs routing findprovs 的结果不能单独作为判据:没有结果可能是提供者通告或发现环节出现问题;有结果也不能替代完整下载。命令参数可核对 Kubo CLI 官方文档。
最终应分别验收三件事:CID 能校验取得的内容、节点确实持有完整数据、故障发生后仍有可达副本。只满足第一件事,不能承诺内容长期可读。