可观测性与稳定性 / 系统课时

用 Snapshot 备份关键索引

用 Snapshot 备份关键索引

需要把关键日志索引真正纳入备份,而不是只看到“仓库已注册”。本课用一个共享文件系统仓库完成注册、验证和快照创建,并检查快照状态、索引覆盖范围与成功分片数。

学习目标

  • 能为自建 Elasticsearch 配置并验证一个文件系统 Snapshot Repository。
  • 能创建只覆盖关键日志索引的快照,并判断快照是否真正成功。
  • 能核对快照中的索引范围、全局状态和分片结果。

先确认备份边界

Snapshot Repository 是集群外的快照存储位置;创建或恢复快照前,仓库必须先注册。共享文件系统仓库要求所有 master 和 data 节点都能访问同一个挂载位置,而且该位置必须落在每个节点的 path.repo 范围内。([Elastic][1])

本例假设 Elasticsearch 自建在 Linux 上,备份挂载目录为 /mount/backups。如果使用 Elastic Cloud Hosted,应改用受支持的云端仓库类型,不要照搬 path.repo 的本地文件系统方案。([Elastic][2])

注册并验证仓库

先在所有 master 和 data 节点的 elasticsearch.yml 中允许备份路径:

yaml
path:
  repo:
    - /mount/backups

修改静态配置后需要按集群运维流程滚动重启节点,使配置生效。随后通过 Elasticsearch API 注册仓库:

bash
export ELASTICSEARCH_URL="https://elasticsearch.example.com"
export ELASTIC_API_KEY="<API_KEY>"

curl -X PUT \
  -H "Authorization: ApiKey ${ELASTIC_API_KEY}" \
  -H "Content-Type: application/json" \
  "${ELASTICSEARCH_URL}/_snapshot/log-backup" \
  -d '{
    "type": "fs",
    "settings": {
      "location": "my_logs_backup"
    }
  }'

curl -X POST \
  -H "Authorization: ApiKey ${ELASTIC_API_KEY}" \
  "${ELASTICSEARCH_URL}/_snapshot/log-backup/_verify"

预期结果

text
第一条请求成功注册或更新 log-backup 仓库。
第二条请求返回成功响应,并列出参与验证仓库的集群节点。

注册仓库时,Elasticsearch 默认会执行仓库可用性验证;也可以显式调用 _verify 检查常见配置错误。([Elastic][3])

创建关键索引快照

备份任务不应默认覆盖所有日志。先明确本次需要保留的索引,例如 logs-app-*,再创建一个唯一快照名。wait_for_completion=true 会让请求等待到快照完成后再返回,适合手工验收;自动化任务通常可以异步创建,再单独查询状态。([Elastic][4])

bash
export SNAPSHOT="logs-<TIME>"

curl -X PUT \
  -H "Authorization: ApiKey ${ELASTIC_API_KEY}" \
  -H "Content-Type: application/json" \
  "${ELASTICSEARCH_URL}/_snapshot/log-backup/${SNAPSHOT}?wait_for_completion=true" \
  -d '{
    "indices": "logs-app-*",
    "ignore_unavailable": false,
    "include_global_state": false,
    "metadata": {
      "purpose": "critical-log-backup"
    }
  }'

预期结果

text
返回 snapshot 对象,state 为 SUCCESS,failed 为 0,且 indices 中包含实际命中的 logs-app-* 索引。

这里把 include_global_state 明确设为 false,表示本次只关注关键索引数据;如果恢复时还需要依赖模板、ingest pipeline 或其他集群状态,应单独设计恢复边界,而不是把“有数据”误认为“完整灾备”。快照 API 会在结果中记录 indices、include_global_state、state 和分片统计。([Elastic][4])

检查覆盖范围和快照状态

完成后,优先用 Get Snapshot 查看快照元数据;_status 更适合查看正在进行快照的分片级状态,不应在大量历史快照上反复调用,因为它可能需要读取大量仓库信息。([Elastic][5])

bash
curl -s \
  -H "Authorization: ApiKey ${ELASTIC_API_KEY}" \
  "${ELASTICSEARCH_URL}/_snapshot/log-backup/${SNAPSHOT}" \
  | jq '{snapshot: .snapshots[0].snapshot, state: .snapshots[0].state, indices: .snapshots[0].indices, include_global_state: .snapshots[0].include_global_state, failed_shards: .snapshots[0].shards.failed}'

curl -s \
  -H "Authorization: ApiKey ${ELASTIC_API_KEY}" \
  "${ELASTICSEARCH_URL}/_snapshot/log-backup/${SNAPSHOT}/_status" \
  | jq '.snapshots[0].shards_stats'

预期结果

text
快照摘要中 state=SUCCESS,failed_shards=0;indices 列表与备份范围一致;include_global_state=false。
快照状态统计能够看到参与快照的分片统计,并可用于核对快照过程是否还有未完成或失败分片。

真正可用的备份至少要回答三个问题:仓库能写、快照状态成功、快照覆盖了正确的数据。只验证第一项并不能证明以后能恢复;因此备份完成后应把快照名称、时间、覆盖索引范围和成功状态一起记录下来。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

用 Snapshot 备份关键索引

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通