P2P 与分布式存储 / 系统课时
怎样监控节点存储健康度
怎样监控节点存储健康度
节点进程还活着,磁盘可能已接近耗尽,业务根也可能漏了保留。本节把运行状态、容量趋势、保留覆盖和恢复新鲜度组合成健康指标,避免单一“在线”绿灯掩盖数据风险。
学习目标
- 用可解释指标覆盖容量、保留与恢复状态。
- 区分采样失败、未知状态和真实健康结果。
指标要回答具体问题
文件系统余量及 inode 回答能否继续写入,仓库大小与增长回答是否需要容量干预。业务根覆盖回答是否所有应保留数据都有声明,完整恢复的成功率和时间回答这些声明是否仍对应可读内容。进程与 API 指标只覆盖服务层的一部分。
Pin 根数量相等不代表集合相同,更不代表块完整。同样数量的旧根替换了一个应有新根,计数监控仍可能正常。应该对照业务应有集合,并保存差异对象,而不是只设一个根数量上下限。
实跑一个告警判断器
下面 Node.js 程序处理固定观测样本,不读取真实节点或磁盘。保存为 health.cjs 后执行 node health.cjs。容量单位是 GiB,时间采用固定 UTC 时刻,便于准确复现结果。
js
const now = Date.parse('2026-10-08T12:00:00Z');
const sample = {freeGiB: 12, reserveGiB: 20, missingBusinessRoots: 1,
lastRestore: '2026-10-01T12:00:00Z', maxRestoreAgeHours: 72};
const alerts = [];
// 容量底线与恢复新鲜度独立告警,不能合成一个含糊分数。
if (sample.freeGiB < sample.reserveGiB) alerts.push('capacity reserve breached');
if (sample.missingBusinessRoots > 0) alerts.push('business pin coverage gap');
const ageHours = (now - Date.parse(sample.lastRestore)) / 3600000;
if (ageHours < 0) alerts.push('restore evidence timestamp in future');
if (!Number.isFinite(ageHours) || ageHours > sample.maxRestoreAgeHours) alerts.push('restore evidence stale');
console.log(alerts.join('\n'));预期输出:
text
capacity reserve breached
business pin coverage gap
restore evidence stale三个告警指向不同处理:暂停非必要增长与扩容、修复遗漏的保留关系、重新进行恢复验证。输出并不意味着本机真的发生这些问题,采样器还需从当前节点与可信业务清单获得数据。
采样成本与失败也要监控
Kubo 的 repo stat 可提供仓库统计,磁盘余量需要操作系统指标。全仓校验与所有 DAG 遍历开销较大,应按风险错峰;API 不可达时标记采样未知并报警,不能沿用昨天的数据继续显示健康。保存指标的时间戳和采样出口,避免混合不同仓库。
告警应带业务根或节点身份、观测时间、阈值、实际值与最近变更。对短时网络波动可以使用连续失败次数和恢复通知,但磁盘写入错误及完整性异常不应被长时间去抖掩盖。阈值要给修复动作留下时间。
不同机器时钟偏移可能影响恢复证据年龄,应统一时间基准并对未来时间戳标为异常。不要把负年龄误当成刚刚完成的可靠检查。
健康报告保留证据范围
按自己的节奏,确认真正理解。