NoSQL 与搜索 / 系统课时

设计 Snapshot Repository

设计 Snapshot Repository

Snapshot Repository 不是“找一个桶存文件”这么简单,它同时决定快照能否跨故障域保存、多个集群如何共享、谁拥有写权限以及恢复时是否读到一致数据。本课用一个生产集群加灾备集群的模型完成仓库选型、注册和验收。

学习目标

  • 根据故障域、吞吐、权限和恢复目标选择仓库存储
  • 设计多集群访问时的单写者与只读边界
  • 用 Repository API 完成注册、验证并建立可恢复的验收标准

从恢复目标反推仓库

仓库首先要脱离生产数据节点的故障域。自管集群常见选择包括 S3、GCS、Azure Blob 或共享文件系统;无论后端是哪一种,都要保证目标区域可达、容量和吞吐满足快照窗口,并让 Elasticsearch 通过最小权限身份访问,而不是把快照和节点数据目录放在同一故障面。

Repository 是 Elasticsearch 对底层存储的一层受控视图。容量规划除了快照保留量,还要考虑并发快照、恢复流量和对象存储请求成本。备份策略应由 SLM 等 Elasticsearch 机制管理;节点数据目录的文件级复制不是受支持的集群备份方式。

设计单写者与多集群边界

生产集群与灾备集群共享 Snapshot Repository 的访问边界

同一个物理 repository 被多个集群注册时,只允许一个集群拥有写权限;其他集群应使用 readonly: true。这样既避免两个集群并发修改仓库元数据,也能让只读集群及时看到写入集群产生的新快照。灾备或迁移场景尤其应把“生产写、灾备读”写成明确的运维约束。

跨版本访问也要保守处理。多个集群共享仓库时应保持兼容版本;一旦较新版本修改过仓库内容,旧版本集群不应被假定还能安全写入或读取。升级前保留可回退快照,并把恢复兼容性纳入升级演练,而不是把仓库本身当成版本转换工具。

注册仓库并做节点级验证

下面以 S3 repository 为例。示例假定节点已经通过安全设置或云身份取得访问权限,不把访问密钥放进 Repository API 请求体。将 <BUCKET>、<BASE_PATH>、<API_KEY> 等占位符替换为实际值。

bash
export ES_URL="https://<ES_HOST>:9200"
export ES_API_KEY="<API_KEY>"
export CA_FILE="<PATH>/http-ca.crt"

curl --fail --silent --show-error   --cacert "$CA_FILE"   -H "Authorization: ApiKey $ES_API_KEY"   -H "Content-Type: application/json"   -X PUT "$ES_URL/_snapshot/prod-backups?pretty"   --data-binary '{
    "type": "s3",
    "settings": {
      "bucket": "<BUCKET>",
      "base_path": "<BASE_PATH>",
      "readonly": false
    }
  }'

curl --fail --silent --show-error   --cacert "$CA_FILE"   -H "Authorization: ApiKey $ES_API_KEY"   -X POST "$ES_URL/_snapshot/prod-backups/_verify?pretty"

预期结果

text
注册请求成功时返回 acknowledged: true。
_verify 成功时返回 nodes 对象,其中包含能够连接该 repository 的相关节点及其 name。
节点 ID、节点名和返回顺序会因集群而不同。

注册 repository 时 Elasticsearch 默认会执行验证;显式调用 _verify 适合作为变更后的验收门槛,因为它能检查相关节点是否都能访问仓库。若灾备集群注册同一位置,应保持相同 bucket/base_path,但把 readonly 设为 true,且不要在两个集群上同时执行创建或删除快照操作。

把可访问升级成可恢复

_verify 通过只说明常见访问配置没有立即失败,并不等价于完整灾备验收。新仓库或存储策略发生变化后,应进一步使用 repository analysis 检查后端对 Elasticsearch 仓库操作的正确性与性能,并创建一个真实测试快照,再在隔离环境完成恢复演练。

验收时记录四类证据:快照是否 SUCCESS、失败分片是否为零、恢复耗时是否满足 RTO、恢复后的关键索引和集群状态是否符合预期。只有“能写入、能读取、能恢复、耗时可接受”同时成立,这个 Repository 才具备生产意义。

保护仓库一致性

不要让外部脚本、对象生命周期规则或人工操作直接修改 Elasticsearch 正在使用的 repository 内容;删除快照应通过 Snapshot API 完成。若底层仓库本身需要从存储备份恢复,应先从 Elasticsearch 注销该 repository,恢复出一个完整一致的仓库状态后再重新注册。

还要把权限分层:生产写集群拥有创建和删除快照所需权限,灾备集群只拿读取和恢复所需权限,存储侧再限制到指定 bucket/prefix。这样即使灾备集群配置错误,也不会把“备用读取者”变成第二个仓库写入者。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

设计 Snapshot Repository

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通