可观测性与稳定性 / 系统课时
配置日志生命周期和自动清理
配置日志生命周期和自动清理
日志索引如果只写不清理,磁盘最终会被历史数据占满。本练习用 Elasticsearch ILM 演示“按大小或时间滚动、保留 30 天后删除”的最小可运行方案,并给出验证方法;OpenSearch 应使用 ISM,不能直接照抄 ILM API。
学习目标
- 为日志索引定义滚动条件与删除周期,限制单个索引和总体保留时间。
- 用索引模板和写别名让新索引自动继承生命周期策略。
- 通过 ILM 状态验证策略是否真正接管索引,而不是只创建了策略文件。
先确定滚动和保留口径
滚动解决“单个索引无限长大”的问题,保留周期解决“旧数据何时退出在线存储”的问题。练习采用两个触发条件:主分片达到 30 GB,或索引写入满 1 天,任一条件满足即可 rollover;滚动后的旧索引满 30 天进入 delete 阶段。

创建 ILM 策略、模板和首个写索引
下面脚本假设集群可通过 http://<HOST>:<PORT> 访问。它依次创建 ILM 策略、索引模板和首个写索引,并用 HTTP 状态码验证三个请求是否成功。
BASE="http://<HOST>:<PORT>"
curl -s -o /dev/null -w "policy:%{http_code}\n" -X PUT "$BASE/_ilm/policy/logs-30d" -H "Content-Type: application/json" -d '{"policy":{"phases":{"hot":{"actions":{"rollover":{"max_primary_shard_size":"30gb","max_age":"1d"}}},"delete":{"min_age":"30d","actions":{"delete":{}}}}}}'
curl -s -o /dev/null -w "template:%{http_code}\n" -X PUT "$BASE/_index_template/logs-app-template" -H "Content-Type: application/json" -d '{"index_patterns":["logs-app-*"],"template":{"settings":{"index.lifecycle.name":"logs-30d","index.lifecycle.rollover_alias":"logs-app-write"}}}'
curl -s -o /dev/null -w "index:%{http_code}\n" -X PUT "$BASE/logs-app-000001" -H "Content-Type: application/json" -d '{"aliases":{"logs-app-write":{"is_write_index":true}}}'预期输出
policy:200
template:200
index:200生产环境如果启用了认证,应在请求中加入与你现有安全配置一致的认证方式;不要把真实密码写进课程脚本或版本库。应用后续应写入 logs-app-write,而不是固定写入 logs-app-000001,否则 rollover 后仍可能把数据发送到旧索引。
验证 ILM 已接管索引
策略、模板和别名都创建成功后,再检查 ILM 的实际管理状态。下面只读取状态,不会修改索引。
curl -s "http://<HOST>:<PORT>/logs-app-000001/_ilm/explain?filter_path=indices.*.managed,indices.*.policy,indices.*.phase,indices.*.action"预期输出
应看到 logs-app-000001 的 managed 为 true、policy 为 logs-30d,并处于 hot 阶段;action 会随 ILM 当前执行步骤变化。如果 managed 为 false,通常说明索引没有继承到模板设置;如果策略已绑定但 rollover 长期不发生,应检查写别名是否存在、是否只有一个 is_write_index=true 的目标,以及应用是否真的通过该别名写入。
让容量规划决定参数
30gb、1d 和 30d 只是练习值,不是通用最佳值。实际保留周期应由每日写入量、磁盘容量、副本数、合规要求和查询需求共同决定。例如保留 30 天并配置 1 个副本时,原始日志量之外还要为副本、索引开销和磁盘水位预留空间。
当应用持续写入别名、ILM 显示索引处于受管状态,并且测试环境能观察到 rollover 后写别名切换到新索引时,这套生命周期链路才算真正生效。