P2P 与分布式存储 / 系统课时

同步复制如何改变写入确认时机

同步复制如何改变写入确认时机

同步复制真正改变的不是“有没有副本”,而是客户端在什么时刻被告知写入成功。确认门槛越高,故障后丢失已确认数据的风险通常越低,但写延迟会更多受慢副本影响。本篇用三副本写入链路和具体延迟算例说明这种取舍。

学习目标

  • 说清主节点接收写入、副本持久化、确认与客户端返回之间的先后关系。
  • 根据 1/3、2/3、3/3 三种确认门槛判断故障后的数据风险。
  • 用副本延迟数据估算一次同步复制写入的确认时间与尾延迟来源。

一次三副本写入何时才能返回

假设一个分片有三个副本:主节点 P、副本 R1 和 R2。客户端向 P 写入对象 order-8472,三个节点都使用持久化日志保存本次修改。同步复制并不要求所有实现都等待全部副本,而是由系统规定“至少多少份持久化成功”后才返回成功。

典型执行顺序是:P 接收请求并分配日志序号;P 将记录写入自己的持久化日志,同时把更新发送给 R1、R2;各节点持久化后返回确认;P 判断确认数是否达到门槛;达到后才向客户端返回成功。副本之间谁先完成并不固定。

三副本同步写入的确认时序

这里的“确认”必须对应系统承诺的持久性层级。如果节点只把数据放进进程内存就发送 ACK,那么即使收到了两个 ACK,也不能等价于“两份持久副本已经安全落盘”。判断复制语义时,应先确认 ACK 是在内存接收后、操作系统缓存后,还是持久化完成后产生。

确认门槛决定故障后的承诺强度

仍以三副本为例,可以把门槛写成“至少有多少份副本完成后返回”。下表假定 ACK 表示对应节点已经完成所要求的持久化。

确认门槛 成功返回条件 返回瞬间至少已有副本数 主要代价
1/3 P 自身完成即可 1 延迟最低,但 P 随即永久故障时可能丢失刚确认的数据
2/3 P 与任一副本完成 2 可容忍一份已确认副本立即失效,通常是延迟与持久性的折中
3/3 三个副本全部完成 3 副本覆盖最完整,但最慢节点直接进入写延迟关键路径

例如 P 已持久化并向客户端返回成功,但 R1、R2 尚未收到数据,此时若 P 的磁盘发生不可恢复故障,1/3 策略下这次“已成功”的写入可能消失。若采用 2/3,返回前至少还有另一份完整副本,单个节点永久失效通常不会让该写入丢失。

用延迟算出客户端什么时候收到成功

设 P 本地持久化需要 3 ms,R1 从收到复制请求到持久化并返回 ACK 需要 7 ms,R2 因磁盘队列较长需要 42 ms。忽略客户端到 P 的网络耗时,并假定三份写入基本并行开始。

此时不同门槛下的确认时间约为:1/3 等待 P,因此约 3 ms;2/3 需要第二快完成的副本,因此约 7 ms;3/3 必须等待最慢的 R2,因此约 42 ms。同步复制的延迟并不是简单把三个耗时相加,而取决于满足确认门槛所需的第几个完成时间。

如果连续 1000 次写入中,R2 有 990 次在 8 ms 内完成、10 次因后台压缩达到 80 ms,那么 3/3 策略的尾延迟会明显出现约 80 ms 的尖峰;2/3 策略只要 P 和 R1 稳定,就可能绕过这个慢副本。因此观察同步复制性能时,平均值往往不够,应至少同时检查 P95、P99 写延迟和各副本 ACK 延迟。

慢副本怎样影响吞吐量

确认门槛也会影响并发写入能否快速释放资源。假设主节点最多允许 1000 个未确认写请求同时存在,正常情况下每次写入 10 ms 完成,则理论上可以维持约 100000 次每秒的在途周转量;如果大量请求因一个慢副本拖到 100 ms,同样的窗口只能支撑约 10000 次每秒,后续请求会排队。

真实系统还会受到磁盘带宽、网络、批处理和协议开销限制,但这个算例说明了关键机制:等待时间越长,同样的在途窗口越容易耗尽。工程上常见的修正不是直接把同步复制改成异步,而是先定位慢副本来源,例如磁盘写放大、后台压缩、网络丢包或副本所在故障域过载。

一个可执行的判断方法是同时记录三类指标:客户端写延迟 P99、每个副本从发送到 ACK 的 P99、未确认写请求数量。如果客户端 P99 从 12 ms 升到 90 ms,同时 R2 ACK P99 也接近 90 ms,而 R1 仍为 10 ms,那么 3/3 策略下可以直接把尾延迟来源定位到 R2;若使用 2/3,客户端延迟可能仍保持接近 12 ms,但 R2 的复制积压必须继续监控,避免它长期落后。

选择门槛时看故障模型而不是只看速度

对用户资金、订单提交、元数据更新这类“成功后不能因单节点故障消失”的写入,三副本系统通常至少应让成功响应依赖两个独立副本完成。若三个副本实际都位于同一台物理宿主机或同一块共享存储上,2/3 也无法抵御宿主机或共享设备故障,因此副本确认数量还要和故障域一起检查。

反过来,遥测采样、临时缓存或可从上游重建的数据可以接受更低的确认门槛,以换取更低延迟。判断是否值得等待 3/3 时,应具体问:第三份副本额外防住了什么故障,以及业务是否愿意为最慢副本支付对应的 P99 延迟。同步复制的实际含义最终可以归结为一句可检查的规则:客户端看到“成功”时,系统究竟已经把这条数据安全保存到了多少个彼此独立的故障域。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

同步复制如何改变写入确认时机

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通