P2P 与分布式存储 / 系统课时
异步复制何时可能丢失已确认数据
异步复制何时可能丢失已确认数据
一次写入已经收到“成功”,故障切换后却读回旧值,并不一定是存储系统误报:在仅等待主节点本地写入的异步复制配置中,成功响应可能早于副本落盘。下面用三节点时间线与可运行的最小模型,找出风险窗口并确定可验收的确认条件。
学习目标
- 沿时间线解释主节点确认后故障、落后副本接管时的数据丢失。
- 区分本地确认、副本复制确认和多数派提交的保障范围。
- 用复制延迟估算风险规模,并设计一次故障切换验证。
主节点已确认,为什么新主节点仍是旧值
假设三节点分别为主节点 P、从节点 R1 和 R2,三者起初都保存 order-42=pending。配置采用异步复制:P 将新值写入自己的持久化日志后即可向客户端返回 OK,不等待 R1、R2 接收。
| 时刻(示例) | 实际发生的事件 | P / R1 / R2 的状态 |
|---|---|---|
| 0 ms | 客户端请求改为 paid |
pending / pending / pending |
| 8 ms | P 本地日志持久化完成 | paid / pending / pending |
| 10 ms | P 返回 OK,客户端记为成功 |
paid / pending / pending |
| 15 ms | P 永久失效,复制尚未到达 | 不可用 / pending / pending |
| 70 ms | R1 接管并处理读取 | 不可用 / pending / pending |
因此,客户端在 10 ms 收到成功,并不代表 15 ms 时已有第二份新数据。若 P 的磁盘能恢复且没有采用落后副本的历史,原记录可能找回;上述丢失成立的关键条件是 P 的新日志无法用于恢复,且系统允许落后副本接管。旧 P 即使之后重新加入,也可能需要丢弃未被新历史接受的尾部记录。

用最小模型复现确认与复制脱节
下面的 Python 3 示例只模拟写入与故障切换的先后关系,不包含真实网络、刷盘或选举算法。先更新 P 并返回成功,再假设 P 无法恢复、R1 在复制前被提升,观察新主节点的值。
initial = {'order-42': 'pending'}
primary = dict(initial)
replica_r1 = dict(initial)
replica_r2 = dict(initial)
# 本地写入完成就确认,副本尚未接收更新。
primary['order-42'] = 'paid'
ack = 'OK'
# 主节点不可恢复,提升仍持有旧值的 R1。
new_primary = replica_r1
print('客户端收到:', ack)
print('故障切换后读取:', new_primary['order-42'])
print('已确认的新值保留:', new_primary['order-42'] == 'paid')预期输出:
客户端收到: OK
故障切换后读取: pending
已确认的新值保留: False这里 OK 证明客户端确实收到了主节点的确认,但不能证明 paid 已进入 R1、R2。即使 P 在实际系统中执行过本地刷盘,主机永久损坏或落后副本形成新历史后,也无法仅凭这条成功响应保证读回 paid。
不同确认条件承诺的东西不同
| 确认策略 | 何时对客户端返回成功 | 故障后的边界 |
|---|---|---|
| 主节点本地确认 | P 本地写入满足其持久化设置;其余 0 份也可以 | P 无法恢复时,已确认的更新可能丢失 |
| 等待一个从副本确认 | P 和至少一个从副本已接收,是否刷盘须另行核实 | 降低单点风险,但接收确认不等于持久化,也不自动约束选主 |
| 多数派提交(3 节点为 2/3) | 按一致性协议完成多数派持久化提交,才返回 | 后续选主必须保留已提交日志;正确实现下可容忍任一节点失效而不丢已提交写入 |
不能把“有三个副本”直接理解为“三份数据都已保存”。还要核对写入确认所等待的副本数、从副本的确认是收到还是持久化,以及新主节点能否丢弃已经确认的记录。多数派提交所需的日志规则和选主约束也必须来自同一套一致性协议,仅把确认数量设为 2 不自动获得该保障。
测算风险窗口并验收故障行为
若业务平均每秒确认 200 次写入,而可能接管的副本相对主节点落后约 120 ms,稳态下风险中的写入量可粗估为 200 × 0.12 = 24 次。这只是量级估算:复制积压、突发写入及不同记录的传播顺序都可能让实际损失更多或更少,不能把 120 ms 当作严格的恢复点目标(RPO)上限。
可在测试环境进行以下验收:
- 将 R1、R2 的复制通道延迟到至少 200 ms;记录写入
order-42=paid的客户端OK时刻。 - 确认两个从副本仍为
pending后,使 P 无法参与恢复,按产品支持的故障转移机制接管。 - 从新主节点读取
order-42,并核对客户端成功写入记录:若仍为pending,记录一次“已确认但切换后缺失”。 - 把确认策略改成产品支持的多数派持久化提交,再次发起写入;必须等到客户端收到
OK才让 P 失效,检查正常选主后能否继续读到paid。
允许损失数秒日志的缓存或可重建索引,可以选择异步确认并配置补偿和重放;支付结果、库存扣减等要求已确认写入不丢失的业务,应使用能保证已提交日志在故障切换后保留的持久化提交协议,并以故障演练结果验证承诺。