NoSQL 与搜索 / 系统课时
设计 Snapshot Repository
设计 Snapshot Repository
Snapshot Repository 不是“找一个桶存文件”这么简单,它同时决定快照能否跨故障域保存、多个集群如何共享、谁拥有写权限以及恢复时是否读到一致数据。本课用一个生产集群加灾备集群的模型完成仓库选型、注册和验收。
学习目标
- 根据故障域、吞吐、权限和恢复目标选择仓库存储
- 设计多集群访问时的单写者与只读边界
- 用 Repository API 完成注册、验证并建立可恢复的验收标准
从恢复目标反推仓库
仓库首先要脱离生产数据节点的故障域。自管集群常见选择包括 S3、GCS、Azure Blob 或共享文件系统;无论后端是哪一种,都要保证目标区域可达、容量和吞吐满足快照窗口,并让 Elasticsearch 通过最小权限身份访问,而不是把快照和节点数据目录放在同一故障面。
Repository 是 Elasticsearch 对底层存储的一层受控视图。容量规划除了快照保留量,还要考虑并发快照、恢复流量和对象存储请求成本。备份策略应由 SLM 等 Elasticsearch 机制管理;节点数据目录的文件级复制不是受支持的集群备份方式。
设计单写者与多集群边界

同一个物理 repository 被多个集群注册时,只允许一个集群拥有写权限;其他集群应使用 readonly: true。这样既避免两个集群并发修改仓库元数据,也能让只读集群及时看到写入集群产生的新快照。灾备或迁移场景尤其应把“生产写、灾备读”写成明确的运维约束。
跨版本访问也要保守处理。多个集群共享仓库时应保持兼容版本;一旦较新版本修改过仓库内容,旧版本集群不应被假定还能安全写入或读取。升级前保留可回退快照,并把恢复兼容性纳入升级演练,而不是把仓库本身当成版本转换工具。
注册仓库并做节点级验证
下面以 S3 repository 为例。示例假定节点已经通过安全设置或云身份取得访问权限,不把访问密钥放进 Repository API 请求体。将 <BUCKET>、<BASE_PATH>、<API_KEY> 等占位符替换为实际值。
export ES_URL="https://<ES_HOST>:9200"
export ES_API_KEY="<API_KEY>"
export CA_FILE="<PATH>/http-ca.crt"
curl --fail --silent --show-error --cacert "$CA_FILE" -H "Authorization: ApiKey $ES_API_KEY" -H "Content-Type: application/json" -X PUT "$ES_URL/_snapshot/prod-backups?pretty" --data-binary '{
"type": "s3",
"settings": {
"bucket": "<BUCKET>",
"base_path": "<BASE_PATH>",
"readonly": false
}
}'
curl --fail --silent --show-error --cacert "$CA_FILE" -H "Authorization: ApiKey $ES_API_KEY" -X POST "$ES_URL/_snapshot/prod-backups/_verify?pretty"预期结果
注册请求成功时返回 acknowledged: true。
_verify 成功时返回 nodes 对象,其中包含能够连接该 repository 的相关节点及其 name。
节点 ID、节点名和返回顺序会因集群而不同。注册 repository 时 Elasticsearch 默认会执行验证;显式调用 _verify 适合作为变更后的验收门槛,因为它能检查相关节点是否都能访问仓库。若灾备集群注册同一位置,应保持相同 bucket/base_path,但把 readonly 设为 true,且不要在两个集群上同时执行创建或删除快照操作。
把可访问升级成可恢复
_verify 通过只说明常见访问配置没有立即失败,并不等价于完整灾备验收。新仓库或存储策略发生变化后,应进一步使用 repository analysis 检查后端对 Elasticsearch 仓库操作的正确性与性能,并创建一个真实测试快照,再在隔离环境完成恢复演练。
验收时记录四类证据:快照是否 SUCCESS、失败分片是否为零、恢复耗时是否满足 RTO、恢复后的关键索引和集群状态是否符合预期。只有“能写入、能读取、能恢复、耗时可接受”同时成立,这个 Repository 才具备生产意义。
保护仓库一致性
不要让外部脚本、对象生命周期规则或人工操作直接修改 Elasticsearch 正在使用的 repository 内容;删除快照应通过 Snapshot API 完成。若底层仓库本身需要从存储备份恢复,应先从 Elasticsearch 注销该 repository,恢复出一个完整一致的仓库状态后再重新注册。
还要把权限分层:生产写集群拥有创建和删除快照所需权限,灾备集群只拿读取和恢复所需权限,存储侧再限制到指定 bucket/prefix。这样即使灾备集群配置错误,也不会把“备用读取者”变成第二个仓库写入者。