可观测性与稳定性 / 系统课时

配置日志生命周期和自动清理

配置日志生命周期和自动清理

日志索引如果只写不清理,磁盘最终会被历史数据占满。本练习用 Elasticsearch ILM 演示“按大小或时间滚动、保留 30 天后删除”的最小可运行方案,并给出验证方法;OpenSearch 应使用 ISM,不能直接照抄 ILM API。

学习目标

  • 为日志索引定义滚动条件与删除周期,限制单个索引和总体保留时间。
  • 用索引模板和写别名让新索引自动继承生命周期策略。
  • 通过 ILM 状态验证策略是否真正接管索引,而不是只创建了策略文件。

先确定滚动和保留口径

滚动解决“单个索引无限长大”的问题,保留周期解决“旧数据何时退出在线存储”的问题。练习采用两个触发条件:主分片达到 30 GB,或索引写入满 1 天,任一条件满足即可 rollover;滚动后的旧索引满 30 天进入 delete 阶段。

日志索引从写入到滚动和删除的生命周期

创建 ILM 策略、模板和首个写索引

下面脚本假设集群可通过 http://<HOST>:<PORT> 访问。它依次创建 ILM 策略、索引模板和首个写索引,并用 HTTP 状态码验证三个请求是否成功。

bash
BASE="http://<HOST>:<PORT>"

curl -s -o /dev/null -w "policy:%{http_code}\n" -X PUT "$BASE/_ilm/policy/logs-30d" -H "Content-Type: application/json" -d '{"policy":{"phases":{"hot":{"actions":{"rollover":{"max_primary_shard_size":"30gb","max_age":"1d"}}},"delete":{"min_age":"30d","actions":{"delete":{}}}}}}'

curl -s -o /dev/null -w "template:%{http_code}\n" -X PUT "$BASE/_index_template/logs-app-template" -H "Content-Type: application/json" -d '{"index_patterns":["logs-app-*"],"template":{"settings":{"index.lifecycle.name":"logs-30d","index.lifecycle.rollover_alias":"logs-app-write"}}}'

curl -s -o /dev/null -w "index:%{http_code}\n" -X PUT "$BASE/logs-app-000001" -H "Content-Type: application/json" -d '{"aliases":{"logs-app-write":{"is_write_index":true}}}'

预期输出

text
policy:200
template:200
index:200

生产环境如果启用了认证,应在请求中加入与你现有安全配置一致的认证方式;不要把真实密码写进课程脚本或版本库。应用后续应写入 logs-app-write,而不是固定写入 logs-app-000001,否则 rollover 后仍可能把数据发送到旧索引。

验证 ILM 已接管索引

策略、模板和别名都创建成功后,再检查 ILM 的实际管理状态。下面只读取状态,不会修改索引。

bash
curl -s "http://<HOST>:<PORT>/logs-app-000001/_ilm/explain?filter_path=indices.*.managed,indices.*.policy,indices.*.phase,indices.*.action"

预期输出

text
应看到 logs-app-000001 的 managed 为 true、policy 为 logs-30d,并处于 hot 阶段;action 会随 ILM 当前执行步骤变化。

如果 managed 为 false,通常说明索引没有继承到模板设置;如果策略已绑定但 rollover 长期不发生,应检查写别名是否存在、是否只有一个 is_write_index=true 的目标,以及应用是否真的通过该别名写入。

让容量规划决定参数

30gb、1d 和 30d 只是练习值,不是通用最佳值。实际保留周期应由每日写入量、磁盘容量、副本数、合规要求和查询需求共同决定。例如保留 30 天并配置 1 个副本时,原始日志量之外还要为副本、索引开销和磁盘水位预留空间。

当应用持续写入别名、ILM 显示索引处于受管状态,并且测试环境能观察到 rollover 后写别名切换到新索引时,这套生命周期链路才算真正生效。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

配置日志生命周期和自动清理

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通