NoSQL 与搜索 / 系统课时

用 CCR 构建跨集群灾备

用 CCR 构建跨集群灾备

CCR 适合把持续写入的业务索引复制到另一集群,并在主集群不可用时接管查询与写入。本篇重点不在“把复制打开”,而在划清复制边界、验证跟随状态,并把故障切换与回切设计成不会双写、可演练的流程。

学习目标

  • 说明 leader、follower 与 CCR 的复制边界
  • 创建并验证 follower index,理解复制延迟对 RPO 的影响
  • 设计可控的故障切换、角色反转与回切步骤

先划清 CCR 的灾备边界

CCR 以索引为复制单元:leader index 接受写入,follower index 从远端 leader 拉取操作并保持同步。正常跟随期间 follower 是只读的,因此“跨集群复制”不等于两个集群同时可写,更不能把两边都开放给写流量。

CCR 主要保护持续变化的用户业务索引。系统生成索引、ILM/SLM 策略、快照仓库配置等并不会因为业务索引在跟随就自动拥有等价副本,所以灾备方案仍要单独备份安全配置、策略与集群级配置。逻辑误删或错误写入也可能被继续复制,因此 CCR 不能替代快照。

CCR 正常复制、故障切换与回切关系

建立并验证复制

假设灾备集群已经把生产集群配置为远程集群别名 prod-a,并准备好具有 CCR 所需权限的凭据。在灾备集群创建 customer-orders-dr,让它跟随生产端 customer-orders:

bash
curl -sS -X PUT "$DR_ES/customer-orders-dr/_ccr/follow?wait_for_active_shards=1" -H "Authorization: ApiKey $DR_API_KEY" -H "Content-Type: application/json" -d '{"remote_cluster":"prod-a","leader_index":"customer-orders"}'

预期输出:

json
{"follow_index_created":true,"follow_index_shards_acked":true,"index_following_started":true}

这只说明 follower 已建立并开始跟随,不代表复制延迟已经满足灾备目标。持续查看 GET /customer-orders-dr/_ccr/stats,重点观察 leader 与 follower 的全局 checkpoint 是否收敛、最后一次成功读取距今多久,并把“可接受的最大落后量”写成 RPO 门槛。

执行故障切换

单向灾备的核心是先阻止旧 leader 再次接收写入,再提升 follower。网络分区时尤其不能仅凭“主站点不可访问”就假设它已经停止服务,否则两个站点可能各自接受写入,形成无法由 CCR 自动合并的分叉数据。

在灾备集群将 follower 转成普通索引,顺序不能颠倒:

bash
curl -sS -o /dev/null -w 'pause=%{http_code}\n' -X POST "$DR_ES/customer-orders-dr/_ccr/pause_follow" -H "Authorization: ApiKey $DR_API_KEY"
curl -sS -o /dev/null -w 'close=%{http_code}\n' -X POST "$DR_ES/customer-orders-dr/_close" -H "Authorization: ApiKey $DR_API_KEY"
curl -sS -o /dev/null -w 'unfollow=%{http_code}\n' -X POST "$DR_ES/customer-orders-dr/_ccr/unfollow" -H "Authorization: ApiKey $DR_API_KEY"
curl -sS -o /dev/null -w 'open=%{http_code}\n' -X POST "$DR_ES/customer-orders-dr/_open" -H "Authorization: ApiKey $DR_API_KEY"

预期输出:

text
pause=200
close=200
unfollow=200
open=200

unfollow 是不可逆转换:该索引不再是 follower。随后再把写入端、查询端和消费端统一切到 Cluster B;不要先切写流量再做 unfollow。如果旧 leader 当时不可达,恢复后还应检查并清理遗留的 follower retention lease,避免无意义地保留额外历史。

设计回切而不是“切回去”

Cluster A 恢复后,最稳妥的做法不是立即恢复原拓扑,而是让当前承载写入的 Cluster B 继续做 leader,在 A 删除或换名处理过期副本后重新创建 follower,让 A 从 B 追平。普通索引不能直接原地变成 follower,因此“保留 A 上旧数据并直接继续跟随”不是可用回切方案。

如果业务必须让 A 重新成为主站点,应把它当作一次计划内切换:停止或围住 B 的新写入,确认 A 已追平,提升 A,切换客户端,然后在 B 重建反向 follower。任意时刻只允许一个写入 leader,这条约束比“两个集群都在线”更重要。

用 RPO 与 RTO 验收演练

一次 CCR 灾备演练至少记录三件事:故障发生到入口完成切换的时间作为 RTO;切换时 leader 与 follower 的复制差距作为 RPO;恢复后是否能完成反向跟随且没有双写。再配合定期快照,才能同时覆盖站点故障与逻辑损坏两类风险。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

用 CCR 构建跨集群灾备

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通