P2P 与分布式存储 / 系统课时

内容寻址如何验证下载数据未被替换

内容寻址如何验证下载数据未被替换

从陌生存储节点取回一份文件,怎样确认字节没有被替换?这篇用 SHA-256 构造真实的 CIDv1,分别校验原始内容和被改动的内容,并解释为什么校验通过仍不代表发布者身份可信。

学习目标

  • 识别 CID 中的内容摘要、数据编码类型和文本表示。
  • 用 Python 复现单块内容的 CID,并检测下载内容是否被改动。
  • 分清内容完整性校验、发布者身份认证与数据可用性。

CID 为什么会随内容变化

普通 URL 主要描述从哪里取数据,CID(内容标识符)则描述要取的是什么内容。对于采用 SHA-256 的 CID,同样的字节、相同的块编码与哈希设置,会生成相同的标识;哪怕只把 hello 的首字母改为大写,得到的摘要也不同。

CID 不是单纯的十六进制 SHA-256 文本。以 CIDv1、raw 原始单块、sha2-256 为例,二进制标识由以下字段依次组成:

字段 本例值 含义
CID 版本 0x01 CIDv1
内容编码 0x55 raw,不附加 DAG-PB 包装
哈希算法 0x12 sha2-256
摘要长度 0x20 32 字节
摘要内容 SHA-256 结果 对原始字节计算的摘要

上面四个前缀值在本例中都能编码为一个字节;再把整体二进制 CID 以小写 Base32 表示,添加多进制前缀 b,便得到通常以 bafkrei 开头的 CIDv1 字符串。CID 不包含内容所在的服务器地址。

下载后按可信 CID 验证

校验必须有一个事先可信的期望 CID,例如随软件版本签名发布的清单中的标识。下载节点和 HTTP 网关可以不可信,但不能让它们同时决定下载内容和唯一的校验标准。

  1. 从可信配置或已验证签名的清单读取期望 CID,并保留其编码与哈希约定。
  2. 向任意存储节点取得目标数据块;即使传输成功,也暂不使用内容。
  3. 对收到的字节按相同的 raw 与 SHA-256 规则重建 CID。
  4. 与期望 CID 比较;一致则接受这份字节,不一致则拒绝并尝试其他来源。

可信 CID 与下载字节的独立校验数据流

用 Python 复现内容改变后的 CID

下面的完整程序只使用 Python 3 标准库,不需要运行 IPFS 节点。它构造单个 raw 块的 CIDv1,并把收到的两个版本分别与同一个可信 CID 比较。

python
import base64
import hashlib

def cid_v1_raw(data: bytes) -> str:
    digest = hashlib.sha256(data).digest()
    # CIDv1、raw、sha2-256、32 字节摘要长度的单字节编码
    binary_cid = bytes([0x01, 0x55, 0x12, 0x20]) + digest
    # b 表示 Base32;CIDv1 的这种文本形式不保留填充等号
    return "b" + base64.b32encode(binary_cid).decode("ascii").lower().rstrip("=")

def verify(data: bytes, expected_cid: str) -> bool:
    # 双方必须使用同一 CID 版本、编解码器和哈希算法
    return cid_v1_raw(data) == expected_cid

trusted_cid = cid_v1_raw(b"hello")
original = b"hello"
replaced = b"Hello"

print("trusted:", trusted_cid)
print("replaced:", cid_v1_raw(replaced))
print("original verified:", verify(original, trusted_cid))
print("replaced verified:", verify(replaced, trusted_cid))

预期输出:

text
trusted: bafkreibm6jg3ux5qumhcn2b3flc3tyu6dmlb4xa7u5bf44yegnrjhc4yeq
replaced: bafkreiayl6g3gitr7ys7kyng7sjywlrgimdoymco3jiyab6rozecmoazne
original verified: True
replaced verified: False

改动只有 h 与 H,但重新计算的 CID 已不同。实践中,把 original 换成实际收到的字节,trusted_cid 换成独立获得的目标标识,就能复用这条单块校验逻辑。

校验通过仍有哪些边界

完整性不等于身份。 攻击者可以制作另一份内容并计算出与之匹配的合法 CID。如果期望 CID 本身也由攻击者提供,比较结果仍可能是 True。发布者要证明“这是我发布的版本”,应使用可信公钥验证包含 CID、版本信息等字段的数字签名;单独一个 CID 不携带发布者身份保证。

CID 也不等于整文件 SHA-256。 本例特意选用单个 raw 块,因此摘要就是该块原始字节的 SHA-256。实际 IPFS 文件可能经过分块、UnixFS 封装和 DAG 组织;根 CID 取决于块布局与编码,不能直接拿整文件哈希来比较。验证这类文件应使用能沿 DAG 校验各块的实现。

可验证不代表可获取。 即使手上有正确 CID,所有提供该内容的节点都离线时,仍可能无法下载;CID 也不会自动对明文保密。实际交付流程应同时检查期望 CID 的可信来源、下载校验结果,以及副本或固定保存策略。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

内容寻址如何验证下载数据未被替换

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通