P2P 与分布式存储 / 系统课时

哪些内容会持续占用磁盘

哪些内容会持续占用磁盘

根 CID 的数量很少,磁盘却一直增长,通常需要从块、引用和文件系统三个层面解释。本节建立容量账本,避免把所有占用都归因于 Pin,也避免把逻辑文件大小当成仓库的物理空间。

学习目标

  • 区分受保护块、缓存块和仓库外占用。
  • 用同一时间点的指标定位容量增长来源。

两份文件不一定占两倍空间

IPFS 按内容块存储,两个 DAG 可能共享许多块;一个大目录也可能链接已经存在的内容。按每个文件的逻辑大小求和会重复计算共享块。反过来,内部节点、数据库索引和存储后端开销又使仓库物理大小不等于普通文件字节总和。

递归 Pin 保护可达后代,直接 Pin 保护单块,MFS 中可达内容也受到保护。读取缓存和失败导入残留则可能成为可回收块。还有日志、备份副本、恢复输出、文件系统快照占用,可能与仓库在同一卷却不属于块存储。

建立一次有范围的容量快照

以下为 Bash 片段示例,依赖已经存在的专用练习仓库和 Kubo 0.43.1。路径须替换为实际绝对路径;涉及停机仓库的离线查询,本節未执行真实节点。不要在另一个 daemon 占用同一仓库时强行直接打开。

bash
set -euo pipefail
export IPFS_PATH='/absolute/path/to/practice-repo'
# 分开记录仓库统计与文件系统实际余量。
ipfs --offline repo stat --human
ipfs --offline pin ls --type=recursive --quiet
ipfs --offline files stat /
du -sh "$IPFS_PATH"
df -h "$IPFS_PATH"

预期结果:

text
repo stat: 仓库大小、对象数量、StorageMax等当前统计
pin ls: 每行一个递归根CID,集合与业务清单核对
files stat: 当前MFS根的信息
du与df: 实际目录占用以及所在文件系统的容量和剩余空间

这些是动态结果的检查项,不是固定逐字输出。RepoSize 与 du 统计范围不同,不能要求完全相等;不同平台的磁盘工具也不同。若使用 Windows,应通过同一卷的磁盘监控采样,不要机械照搬 Bash 结果字段。

把增长与变更对应起来

保存两个固定时刻的容量、递归根集合和业务导入记录,计算差值。根数量不变但容量上涨,可能来自共享结构的新版本、网络缓存或日志;根数量上涨却占用变化很小,也可能因为去重。任何推断都应通过近期变更与实际块检查确认。

对大型 DAG,统计遍历本身会带来读取开销,应错峰安排。检查系统可用空间时还要关注 inode、配额和文件系统保留空间:字节尚未满却写不进去,可能是另一种资源耗尽,不宜继续提高仓库大小配置来掩盖它。

StorageMax不是硬盘保险

配置里的 Datastore.StorageMax 是仓库容量管理参数,不是磁盘分区,也不是每次导入都严格阻止越界的硬配额。启用自动 GC 还需要对应运行方式;当全部增长都是受保护内容时,GC 也不能替你清出这些业务数据。

练习对同一文件重复导入和新增不同文件分别记录增量,解释共享块与数据库开销。实际 Kubo 与磁盘采样留给读者验收。参考仓库统计实现及存储配置定义,容量告警应以文件系统余量为底线,业务清单提供增长原因。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

哪些内容会持续占用磁盘

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通