P2P 与分布式存储 / 系统课时

校验检索块与根 CID 的对应关系

校验检索块与根 CID 的对应关系

节点 B 按根 CID 从远端取回文件后,还需要确认每个数据块确实受该根 CID 约束。本课用一个 600000 字节的 UnixFS 文件,逐块检查根节点、DAG 引用与子块摘要,最后比较完整内容图验证和直接计算文件 SHA-256 的区别。

学习目标

  • 区分根 CID 的多哈希、子块 CID 与重建文件的 SHA-256。
  • 沿已验证的 DAG 链接递归校验所有可达块。
  • 在独立 Kubo 节点上复现验证,并区分缺块、内容不匹配与错误根 CID。

分清三种哈希校验对象

CIDv1 包含版本、编解码标识和多哈希(multihash)。多哈希约束的是单个块的原始编码字节。当根节点是 dag-pb 时,这些字节包含 UnixFS 元数据和子块链接,而不是下载后拼接出的文件字节。

检查项 SHA-256 的输入 能证明什么
文件校验和 重建后的 600000 字节 文件字节匹配已知校验和
根 CID 的摘要 根 dag-pb 块的编码字节 根节点内容和链接未变
子块 CID 的摘要 对应 raw 块的字节 该数据块未变

因此,不能把根 CID 当成文件的 SHA-256 十六进制值比较。只有文件恰好用一个 raw 块表示、且哈希算法相同等条件满足时,CID 内部的摘要才会与文件 SHA-256 相等;CID 字符串本身仍包含额外编码信息。

从根节点追踪完整内容图

本例将 600000 字节按 262144 字节分块,得到大小为 262144、262144、75712 字节的三个 raw 叶子块。一个 dag-pb 根块记录三个子 CID,因此验证对象共有 4 个块。

检查顺序是:先对根块原始字节复算摘要并匹配根 CID,再从已验证的根块中解码三个链接,最后分别获取子块并对照各自 CID 复算。替换任一子块会导致其 CID 校验失败;改写链接则会改变根块字节,使旧根 CID 无法通过验证。

根 CID 通过 DAG-PB 链接约束三个原始数据块的完整性校验关系

在节点 A 创建可复现的根 CID

准备两套独立的 Kubo 仓库,节点 A 负责导入,节点 B 负责检索;两端分别启动 ipfs daemon 并确保网络互通。节点 A 还需 Python 3,节点 B 需 Node.js 20 或更高版本。先在节点 A 的 Bash 终端执行:

bash
# 构造可确定分块数量的 600000 字节文件
python3 -c "from pathlib import Path; Path('demo.bin').write_bytes(b'A' * 300000 + b'B' * 300000)"
ROOT_CID="$(ipfs add --quieter --cid-version=1 --raw-leaves=true --chunker=size-262144 demo.bin)"
printf 'root=%s\n' "$ROOT_CID"
python3 -c "import hashlib; print('file_sha256=' + hashlib.sha256(open('demo.bin', 'rb').read()).hexdigest())"

预期输出:

text
root=<ID>
file_sha256=d236fde8e4fcb0ad4efcd83bc4a66dd1d6c163715cc20c99b31f600955d57ef1

<ID> 是实际生成的根 CID,需从可信渠道传给节点 B;它会随实际导入设置变化。节点 B 应使用不同的 IPFS_PATH 仓库。如发现不了节点 A,可从 A 的 ipfs id 获取可达 Multiaddr,并在 B 使用 ipfs swarm connect '<MULTIADDR>' 建立连接。

在节点 B 逐块复算并验证引用

下面使用 Kubo CLI 获取原始块,再由 Node.js 独立复算摘要。示例只支持本实验采用的 sha2-256 多哈希,以及 dag-pb、raw 两种编解码,不对其他 CID 类型作错误承诺。先在节点 B 的工作目录安装依赖:

bash
npm init -y
npm install multiformats@14 @ipld/dag-pb@4

预期结果:当前目录生成 package.json、package-lock.json 和 node_modules,安装过程没有错误。将以下完整程序保存为 verify.mjs:

js
import { execFileSync } from 'node:child_process'
import { CID } from 'multiformats/cid'
import { sha256 } from 'multiformats/hashes/sha2'
import * as dagPB from '@ipld/dag-pb'

if (!process.argv[2]) throw new Error('缺少根 CID')
const root = CID.parse(process.argv[2])
const seen = new Set()

async function verify(cid) {
  const key = cid.toString()
  if (seen.has(key)) return
  // 本示例只处理 Kubo 本次导入生成的块类型
  if (cid.multihash.code !== sha256.code ||
      (cid.code !== dagPB.code && cid.code !== 0x55)) {
    throw new Error(`不支持的哈希或编解码:${key}`)
  }

  // block get 返回单块的原始编码字节,不是 UnixFS 文件内容
  const bytes = execFileSync('ipfs', ['block', 'get', key], {
    maxBuffer: 4 * 1024 * 1024
  })
  const actual = await sha256.digest(bytes)
  if (!Buffer.from(actual.bytes).equals(Buffer.from(cid.multihash.bytes))) {
    throw new Error(`CID 与区块字节不匹配:${key}`)
  }
  seen.add(key)

  // 仅从已经通过摘要验证的 dag-pb 块读取子 CID
  if (cid.code === dagPB.code) {
    for (const link of dagPB.decode(bytes).Links) {
      await verify(link.Hash)
    }
  }
}

await verify(root)
console.log(`root_block_sha256=${Buffer.from(root.multihash.digest).toString('hex')}`)
console.log(`PASS: ${seen.size} blocks verified`)

这段程序先验证块字节,再追踪其链接;seen 避免重复验证共享子块。在节点 B 将占位符替换为节点 A 输出的真实 CID,执行:

bash
ROOT_CID='<ID>'
node verify.mjs "$ROOT_CID"
ipfs cat "$ROOT_CID" > restored.bin
node -e "const fs = require('node:fs'); const crypto = require('node:crypto'); console.log('file_sha256=' + crypto.createHash('sha256').update(fs.readFileSync('restored.bin')).digest('hex'))"

预期输出(B 能取回所有块时):

text
root_block_sha256=<HASH>
PASS: 4 blocks verified
file_sha256=d236fde8e4fcb0ad4efcd83bc4a66dd1d6c163715cc20c99b31f600955d57ef1

<HASH> 是根块摘要的实际十六进制值,应与两端相同的 file_sha256 不同;二者的哈希输入不同。这个 PASS 证明全部四个可达块的字节与各自 CID 一致,且三个子 CID 确实由该根块引用。

根据失败位置判断问题

现象 判断与处理
ipfs block get 返回错误 先排查提供者发现、连接和缺块;没有取到数据不等于发现哈希篡改
报 CID 与区块字节不匹配 原始块与预期 CID 不符,拒绝使用;Kubo 通常已在接收阶段过滤此类块
四块均通过,但业务文件不是预期版本 检查最初取得的根 CID 是否正确、是否来自可信发布渠道

这套校验只证明相对于给定根 CID 的内容完整性,不能证明根 CID 是谁发布的,也未检查全部 UnixFS 语义约束。实际应用应从可信接口或签名清单获得根 CID;大规模 DAG 则宜使用支持 CAR 流式读取和校验的实现,避免为每个块启动一次 CLI 进程。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

校验检索块与根 CID 的对应关系

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通