P2P 与分布式存储 / 系统课时
内容寻址如何验证下载数据未被替换
内容寻址如何验证下载数据未被替换
从陌生存储节点取回一份文件,怎样确认字节没有被替换?这篇用 SHA-256 构造真实的 CIDv1,分别校验原始内容和被改动的内容,并解释为什么校验通过仍不代表发布者身份可信。
学习目标
- 识别 CID 中的内容摘要、数据编码类型和文本表示。
- 用 Python 复现单块内容的 CID,并检测下载内容是否被改动。
- 分清内容完整性校验、发布者身份认证与数据可用性。
CID 为什么会随内容变化
普通 URL 主要描述从哪里取数据,CID(内容标识符)则描述要取的是什么内容。对于采用 SHA-256 的 CID,同样的字节、相同的块编码与哈希设置,会生成相同的标识;哪怕只把 hello 的首字母改为大写,得到的摘要也不同。
CID 不是单纯的十六进制 SHA-256 文本。以 CIDv1、raw 原始单块、sha2-256 为例,二进制标识由以下字段依次组成:
| 字段 | 本例值 | 含义 |
|---|---|---|
| CID 版本 | 0x01 |
CIDv1 |
| 内容编码 | 0x55 |
raw,不附加 DAG-PB 包装 |
| 哈希算法 | 0x12 |
sha2-256 |
| 摘要长度 | 0x20 |
32 字节 |
| 摘要内容 | SHA-256 结果 | 对原始字节计算的摘要 |
上面四个前缀值在本例中都能编码为一个字节;再把整体二进制 CID 以小写 Base32 表示,添加多进制前缀 b,便得到通常以 bafkrei 开头的 CIDv1 字符串。CID 不包含内容所在的服务器地址。
下载后按可信 CID 验证
校验必须有一个事先可信的期望 CID,例如随软件版本签名发布的清单中的标识。下载节点和 HTTP 网关可以不可信,但不能让它们同时决定下载内容和唯一的校验标准。
- 从可信配置或已验证签名的清单读取期望 CID,并保留其编码与哈希约定。
- 向任意存储节点取得目标数据块;即使传输成功,也暂不使用内容。
- 对收到的字节按相同的
raw与 SHA-256 规则重建 CID。 - 与期望 CID 比较;一致则接受这份字节,不一致则拒绝并尝试其他来源。

用 Python 复现内容改变后的 CID
下面的完整程序只使用 Python 3 标准库,不需要运行 IPFS 节点。它构造单个 raw 块的 CIDv1,并把收到的两个版本分别与同一个可信 CID 比较。
import base64
import hashlib
def cid_v1_raw(data: bytes) -> str:
digest = hashlib.sha256(data).digest()
# CIDv1、raw、sha2-256、32 字节摘要长度的单字节编码
binary_cid = bytes([0x01, 0x55, 0x12, 0x20]) + digest
# b 表示 Base32;CIDv1 的这种文本形式不保留填充等号
return "b" + base64.b32encode(binary_cid).decode("ascii").lower().rstrip("=")
def verify(data: bytes, expected_cid: str) -> bool:
# 双方必须使用同一 CID 版本、编解码器和哈希算法
return cid_v1_raw(data) == expected_cid
trusted_cid = cid_v1_raw(b"hello")
original = b"hello"
replaced = b"Hello"
print("trusted:", trusted_cid)
print("replaced:", cid_v1_raw(replaced))
print("original verified:", verify(original, trusted_cid))
print("replaced verified:", verify(replaced, trusted_cid))预期输出:
trusted: bafkreibm6jg3ux5qumhcn2b3flc3tyu6dmlb4xa7u5bf44yegnrjhc4yeq
replaced: bafkreiayl6g3gitr7ys7kyng7sjywlrgimdoymco3jiyab6rozecmoazne
original verified: True
replaced verified: False改动只有 h 与 H,但重新计算的 CID 已不同。实践中,把 original 换成实际收到的字节,trusted_cid 换成独立获得的目标标识,就能复用这条单块校验逻辑。
校验通过仍有哪些边界
完整性不等于身份。 攻击者可以制作另一份内容并计算出与之匹配的合法 CID。如果期望 CID 本身也由攻击者提供,比较结果仍可能是 True。发布者要证明“这是我发布的版本”,应使用可信公钥验证包含 CID、版本信息等字段的数字签名;单独一个 CID 不携带发布者身份保证。
CID 也不等于整文件 SHA-256。 本例特意选用单个 raw 块,因此摘要就是该块原始字节的 SHA-256。实际 IPFS 文件可能经过分块、UnixFS 封装和 DAG 组织;根 CID 取决于块布局与编码,不能直接拿整文件哈希来比较。验证这类文件应使用能沿 DAG 校验各块的实现。
可验证不代表可获取。 即使手上有正确 CID,所有提供该内容的节点都离线时,仍可能无法下载;CID 也不会自动对明文保密。实际交付流程应同时检查期望 CID 的可信来源、下载校验结果,以及副本或固定保存策略。