可观测性与稳定性 / 系统课时
用生命周期策略自动清理日志
用生命周期策略自动清理日志
日志索引完成滚动后,如果历史索引始终保留,磁盘占用仍会持续增长。Elasticsearch ILM 可以按索引年龄自动执行滚动、迁移和删除等动作,把日志保留规则从人工清理变成可重复执行的生命周期策略。
学习目标
- 理解 ILM 的阶段与阶段转换条件
- 能创建包含 rollover 和删除动作的生命周期策略
- 能检查索引当前生命周期状态并定位未按期执行的问题
生命周期如何推进
ILM 将索引生命周期划分为 hot、warm、cold、frozen 和 delete 等阶段。日志通常在 hot 阶段持续写入并滚动,历史数据随后进入成本更低的阶段,最终在达到保留期限后删除。

并不是每套日志都必须经过全部阶段。若集群没有专门的 warm 或 cold 数据层,最小策略可以只保留 hot 和 delete,以免配置了无法落地的数据迁移动作。
创建生命周期策略
下面创建 logs-policy:hot 阶段在主分片达到 50 GB 或索引达到 1 天时滚动,滚动后的索引保留 30 天再删除。
curl -X PUT "http://localhost:9200/_ilm/policy/logs-policy" -H "Content-Type: application/json" -d '{
"policy": {
"phases": {
"hot": {
"actions": {
"rollover": {
"max_primary_shard_size": "50gb",
"max_age": "1d"
}
}
},
"delete": {
"min_age": "30d",
"actions": {
"delete": {}
}
}
}
}
}'预期结果:
{"acknowledged":true}min_age 表示进入该阶段前需要达到的最小年龄。对于已经发生 rollover 的受管索引,后续阶段的年龄基于 rollover 时间计算,而不是简单按原索引创建时间理解,因此排查“为什么还没删除”时必须检查生命周期状态。
让新索引自动使用策略
只有创建策略还不够,索引必须关联 ILM 策略。使用传统索引和写入别名时,可以通过索引模板为后续日志索引自动配置策略和 rollover 别名:
curl -X PUT "http://localhost:9200/_index_template/logs-template" -H "Content-Type: application/json" -d '{
"index_patterns": ["logs-*"],
"template": {
"settings": {
"index.lifecycle.name": "logs-policy",
"index.lifecycle.rollover_alias": "logs-write"
}
}
}'预期结果:
{"acknowledged":true}模板只影响之后匹配并创建的索引,不会自动把已有历史索引全部改成受管状态。初始化首个索引时,还需要正确建立 logs-write 写入别名。
检查 ILM 是否按计划执行
当索引没有如期滚动或删除时,先用 explain API 查看它处于哪个阶段、动作和步骤,而不是直接手工删除:
curl -s "http://localhost:9200/logs-000001/_ilm/explain?pretty"预期结果的时间戳、阶段和步骤取决于实际运行状态,但应能看到索引是否由 ILM 管理以及正在执行的阶段:
{
"indices": {
"logs-000001": {
"index": "logs-000001",
"managed": true,
"policy": "logs-policy",
"phase": "hot"
}
}
}如果 managed 为 false,优先检查索引是否应用了正确模板和 index.lifecycle.name;如果长期停在某个步骤,则继续根据 explain 返回的 action、step 和错误信息定位,而不是反复重建策略。
ILM 的关键不是单纯“定时删日志”,而是把滚动、保留期限和删除动作放进同一套可观察的状态流程。策略上线后应持续检查实际索引年龄、磁盘增长和查询需求,再调整保留时间,避免只按固定天数估算成本。