可观测性与稳定性 / 系统课时
用 Snapshot 备份关键索引
用 Snapshot 备份关键索引
需要把关键日志索引真正纳入备份,而不是只看到“仓库已注册”。本课用一个共享文件系统仓库完成注册、验证和快照创建,并检查快照状态、索引覆盖范围与成功分片数。
学习目标
- 能为自建 Elasticsearch 配置并验证一个文件系统 Snapshot Repository。
- 能创建只覆盖关键日志索引的快照,并判断快照是否真正成功。
- 能核对快照中的索引范围、全局状态和分片结果。
先确认备份边界
Snapshot Repository 是集群外的快照存储位置;创建或恢复快照前,仓库必须先注册。共享文件系统仓库要求所有 master 和 data 节点都能访问同一个挂载位置,而且该位置必须落在每个节点的 path.repo 范围内。([Elastic][1])
本例假设 Elasticsearch 自建在 Linux 上,备份挂载目录为 /mount/backups。如果使用 Elastic Cloud Hosted,应改用受支持的云端仓库类型,不要照搬 path.repo 的本地文件系统方案。([Elastic][2])
注册并验证仓库
先在所有 master 和 data 节点的 elasticsearch.yml 中允许备份路径:
path:
repo:
- /mount/backups修改静态配置后需要按集群运维流程滚动重启节点,使配置生效。随后通过 Elasticsearch API 注册仓库:
export ELASTICSEARCH_URL="https://elasticsearch.example.com"
export ELASTIC_API_KEY="<API_KEY>"
curl -X PUT \
-H "Authorization: ApiKey ${ELASTIC_API_KEY}" \
-H "Content-Type: application/json" \
"${ELASTICSEARCH_URL}/_snapshot/log-backup" \
-d '{
"type": "fs",
"settings": {
"location": "my_logs_backup"
}
}'
curl -X POST \
-H "Authorization: ApiKey ${ELASTIC_API_KEY}" \
"${ELASTICSEARCH_URL}/_snapshot/log-backup/_verify"预期结果
第一条请求成功注册或更新 log-backup 仓库。
第二条请求返回成功响应,并列出参与验证仓库的集群节点。注册仓库时,Elasticsearch 默认会执行仓库可用性验证;也可以显式调用 _verify 检查常见配置错误。([Elastic][3])
创建关键索引快照
备份任务不应默认覆盖所有日志。先明确本次需要保留的索引,例如 logs-app-*,再创建一个唯一快照名。wait_for_completion=true 会让请求等待到快照完成后再返回,适合手工验收;自动化任务通常可以异步创建,再单独查询状态。([Elastic][4])
export SNAPSHOT="logs-<TIME>"
curl -X PUT \
-H "Authorization: ApiKey ${ELASTIC_API_KEY}" \
-H "Content-Type: application/json" \
"${ELASTICSEARCH_URL}/_snapshot/log-backup/${SNAPSHOT}?wait_for_completion=true" \
-d '{
"indices": "logs-app-*",
"ignore_unavailable": false,
"include_global_state": false,
"metadata": {
"purpose": "critical-log-backup"
}
}'预期结果
返回 snapshot 对象,state 为 SUCCESS,failed 为 0,且 indices 中包含实际命中的 logs-app-* 索引。这里把 include_global_state 明确设为 false,表示本次只关注关键索引数据;如果恢复时还需要依赖模板、ingest pipeline 或其他集群状态,应单独设计恢复边界,而不是把“有数据”误认为“完整灾备”。快照 API 会在结果中记录 indices、include_global_state、state 和分片统计。([Elastic][4])
检查覆盖范围和快照状态
完成后,优先用 Get Snapshot 查看快照元数据;_status 更适合查看正在进行快照的分片级状态,不应在大量历史快照上反复调用,因为它可能需要读取大量仓库信息。([Elastic][5])
curl -s \
-H "Authorization: ApiKey ${ELASTIC_API_KEY}" \
"${ELASTICSEARCH_URL}/_snapshot/log-backup/${SNAPSHOT}" \
| jq '{snapshot: .snapshots[0].snapshot, state: .snapshots[0].state, indices: .snapshots[0].indices, include_global_state: .snapshots[0].include_global_state, failed_shards: .snapshots[0].shards.failed}'
curl -s \
-H "Authorization: ApiKey ${ELASTIC_API_KEY}" \
"${ELASTICSEARCH_URL}/_snapshot/log-backup/${SNAPSHOT}/_status" \
| jq '.snapshots[0].shards_stats'预期结果
快照摘要中 state=SUCCESS,failed_shards=0;indices 列表与备份范围一致;include_global_state=false。
快照状态统计能够看到参与快照的分片统计,并可用于核对快照过程是否还有未完成或失败分片。真正可用的备份至少要回答三个问题:仓库能写、快照状态成功、快照覆盖了正确的数据。只验证第一项并不能证明以后能恢复;因此备份完成后应把快照名称、时间、覆盖索引范围和成功状态一起记录下来。