P2P 与分布式存储 / 系统课时
为业务选择 IPFS 与对象存储分工
为业务选择 IPFS 与对象存储分工
一个产品同时托管公开静态资源和私人用户文件时,不必让两类数据走同一条存储链路。本篇用具体业务约束、混合架构和月度成本算例,确定哪些内容发布到 IPFS、哪些保留在对象存储,并明确上线前如何验证。
学习目标
- 依据持久性、更新频率、访问控制和成本选择存储路径。
- 设计公开资源使用 CID 分发、私人文件通过鉴权访问的混合架构。
- 用实际用量和验收条件检验选型,而非假设 IPFS 天然免费或永久在线。
按文件属性而不是技术偏好分流
假设一个知识产品有两组文件:公开课程封面与已发布课件共 200 GiB,每月对外传输 1 TiB;用户上传的合同和草稿共 5 TiB,需要按账号隔离、允许修改与撤销访问。
| 业务对象 | 必须满足的条件 | 推荐主路径 |
|---|---|---|
| 公开封面、已发布课件 | 内容版本可追溯、可以公开传播、旧版可复现 | 对象存储保存源文件;需要内容校验与跨节点分发时再发布到 IPFS |
| 私人合同、草稿 | 用户鉴权、撤销权限、审计、覆盖或版本管理、按政策删除 | 私有对象存储,由业务 API 控制访问 |
| 经审核可公开的用户作品 | 先取得发布授权,再生成稳定版本 | 从私有区复制已脱敏的发布版本,作为新的公开资源处理 |
这里的选择是先隔离私有数据,再评估公开内容是否值得增加 IPFS。对仅通过自家网站访问的图片,普通对象存储配 CDN 往往已足够;不需要为了使用 CID 而额外经营节点。
四个维度决定分工
| 维度 | IPFS 发布路径 | 对象存储路径 |
|---|---|---|
| 持久性 | CID 标识内容,不保证有节点持续提供;需要 Pin、副本和可取回性监测 | 由存储服务负责对象保管,但仍需配置生命周期、备份或跨区域容灾 |
| 内容更新 | 文件内容或 DAG 编排变化通常得到新 CID;业务端需维护当前版本映射 | 同一对象键可上传新版本;按需开启 Versioning 保留旧版本 |
| 访问控制 | 公开网络中知道 CID 的人可能取回内容;CID 不是密码,删除本地副本也不能撤回他人复制的数据 | 私有桶、服务端鉴权及短期预签名 URL 适合按用户控制访问 |
| 运维成本 | Pin 容量、在线节点、路由发现、网关、出网流量与告警均需预算 | 存储容量、请求、出网流量及 CDN 等按服务计费,管理边界通常更简单 |
需要证明下载内容未被篡改时,客户端应持有可信来源给出的预期 CID并验证内容;拿到一个陌生 CID 只能校验其对应数据,不能证明发布者身份。可以参照 IPFS 持久性说明 和 S3 访问控制文档 核对服务能力。
混合架构的发布与访问边界
公开内容采用“源文件保管与分发分离”:编辑发布固定版本到对象存储;发布服务将文件导入 IPFS,获得 CID;两个独立故障域的节点 Pin 同一 CID;业务数据库维护 assetId 到 currentCid 的映射。用户请求逻辑资源标识时,由业务 API 返回当前 CID,公开客户端再经受控网关取回内容。
私人文件走另一条链路:客户端先经过业务 API 的身份与归属校验,然后由后端代理读取私有对象,或签发短期有效的对象存储预签名 URL。需要立即撤销下载权限时,应优先采用每次请求均鉴权的代理模式;已经签发且未过期的预签名 URL 通常仍可使用。不得把未加密的私人文件放进公开可检索的 IPFS 节点。

版本更新只切换数据库中的 currentCid,旧 CID 不会自动失效。若业务必须在规定时间内撤销所有已传播副本,就不应把该内容发布到公共 IPFS;即使执行 Unpin,也只能清理自己控制的保留副本。
用同口径账单估算投入
以公开资源 200 GiB、每月传输 1,024 GiB 为例,假设对象存储单价为每 GiB 月 0.02 美元、流量为每 GiB 0.08 美元。混合方案再增加两份各 200 GiB 的 Pin 副本,假设每 GiB 月 0.03 美元,以及每月 20 美元的网关固定支出。以下仅为可复算的假设单价,不是服务商报价;两种方案暂按相同出口成本计费,不计算请求、人工与故障恢复费用。
# 所有单价均为演示假设;先保持两种方案的出口流量相同
size_gib, egress_gib = 200, 1024
object_rate, egress_rate = 0.02, 0.08
pin_rate, replicas, gateway_fixed = 0.03, 2, 20.0
object_only = size_gib * object_rate + egress_gib * egress_rate
# 混合方案保留源文件,并另外支付 Pin 副本和网关固定费用
hybrid = object_only + size_gib * replicas * pin_rate + gateway_fixed
print(f"对象存储直接分发: ${object_only:.2f}/月")
print(f"对象存储 + IPFS: ${hybrid:.2f}/月")
print(f"混合方案增加: ${hybrid - object_only:.2f}/月")预期输出:
对象存储直接分发: $85.92/月
对象存储 + IPFS: $117.92/月
混合方案增加: $32.00/月这个算例并不表示 IPFS 一定更贵。若实际有第三方节点承担部分分发,出口账单可能变化;若使用公共网关,还需要计入服务限流和依赖风险。应拿供应商真实价格、缓存命中率、峰值并发和完整请求量重算,不能只比较“存储每 GiB 单价”。
让选型结论可以验收
上线前给两条路径分别设检查门槛,而不是只验证上传成功。
- 公开资源:记录每个
assetId的 CID 和发布版本;从两个不同网络分别抽取 30 次冷读并核对文件完整性;人为断开一个 Pin 节点后,另一个节点仍能供给内容。首次取回耗时目标可先设 P95 不超过 3 秒,再按实际用户地域修订。 - 私人文件:用无权限账号尝试下载、覆盖与删除,全部应被拒绝;有效授权仅能访问所属文件;预签名 URL 到期后不可再发起新的有效请求,并验证业务层撤销及版本清理策略。
- 版本回滚:对公开资源发布 V2 后检查
currentCid指向新版本,回滚时恢复旧 CID;对私人文件按存储服务的版本保留策略测试恢复,不把对象覆盖误认为旧版已彻底删除。 - 成本复核:用一个月的真实日志统计存储量、请求数、网关出口量和节点费用,连同故障处理工时与上述估算比较,超出预算再决定收缩 Pin 副本、调整缓存或取消 IPFS 路径。
对于需要强访问控制和可撤销性的文件,以私有对象存储作为主存储;对于授权公开、版本需内容校验且多节点分发确有收益的资源,采用对象存储托底、IPFS 辅助分发。只有实测收益足以覆盖新增副本与网关运维时,混合架构才值得保留。