NoSQL 与搜索 / 系统课时
用 ILM 驱动数据生命周期
用 ILM 驱动数据生命周期
本课把“索引越积越多”变成可验证的自动流程:为日志数据流配置 rollover、warm、cold 与删除阶段,让旧数据按时间和分片大小退出写入路径、迁移到合适的数据层,并能用 ILM API 判断当前执行到了哪一步。
学习目标
- 能为数据流创建并绑定包含 rollover、阶段迁移和删除规则的 ILM 策略
- 理解 rollover 条件、阶段
min_age与数据层迁移之间的时间关系 - 能用
_ilm/explain验证策略是否接管索引,并定位常见卡点
把生命周期拆成阶段与动作
ILM 管理的是索引或数据流的 backing index。典型时序是:新数据在 hot 阶段持续写入;满足 rollover 条件后生成新的写索引,旧索引再按 min_age 进入 warm、cold,最终在 delete 阶段被删除。阶段描述“何时进入”,action 描述“进入后做什么”。
对于采用 data tier 角色的集群,ILM 会默认注入 migrate 动作,根据当前阶段调整 _tier_preference。因此常规 hot-warm-cold 架构不需要再用自定义节点属性手工模拟数据层;只有存在特殊放置约束时,才应额外叠加 allocation filter。

创建策略并绑定到数据流
下面以 app-logs-prod 数据流为例。策略在单个主分片达到 30 GB 或索引年龄达到 1 天时 rollover;旧 backing index 在 rollover 后 7 天进入 warm、30 天进入 cold、90 天删除。数据流不需要配置 index.lifecycle.rollover_alias。
PUT _ilm/policy/app-logs-90d
{
"policy": {
"phases": {
"hot": {
"actions": {
"rollover": {
"max_primary_shard_size": "30gb",
"max_age": "1d"
}
}
},
"warm": {
"min_age": "7d",
"actions": {
"set_priority": {
"priority": 50
}
}
},
"cold": {
"min_age": "30d",
"actions": {
"set_priority": {
"priority": 0
}
}
},
"delete": {
"min_age": "90d",
"actions": {
"delete": {}
}
}
}
}
}
PUT _index_template/app-logs-template
{
"index_patterns": ["app-logs-*"],
"priority": 500,
"data_stream": {},
"template": {
"settings": {
"index.lifecycle.name": "app-logs-90d",
"number_of_shards": 1,
"number_of_replicas": 1
},
"mappings": {
"properties": {
"@timestamp": {
"type": "date"
},
"message": {
"type": "text"
}
}
}
}
}
PUT _data_stream/app-logs-prod预期结果:三个创建请求都应得到确认。
{
"acknowledged": true
}模板只决定之后创建的 backing index 使用什么设置。若修改模板中的策略名称,已经存在的 backing index 不会仅因为模板变化而自动改绑策略,排障时应直接检查实际索引的 ILM 状态。
读懂 rollover 与 min_age
rollover 可以同时配置多个 max_* 条件;任意一个最大条件满足即可触发,但若还配置了 min_* 条件,则所有最小条件都必须先满足。默认情况下空索引不会因为 max_age 到期而 rollover,因此低流量或测试数据流可能长时间停在 hot 阶段。
更容易误判的是 min_age。对已经 rollover 的索引,后续阶段的年龄从 rollover 时刻计算,而不是继续使用最初创建时间。所以上例的“warm 7d、delete 90d”分别表示 rollover 后 7 天和 90 天,而不是数据流首次创建后的第 7 天和第 90 天。
验证策略是否真正接管
创建数据流后先检查 ILM 是否管理其 backing index。用 filter_path 只保留稳定字段,避免被大量时间戳和内部步骤干扰。
GET app-logs-prod/_ilm/explain?filter_path=indices.*.managed,indices.*.policy预期结果中的 backing index 名称会随数据流代际变化,因此用 <BACKING_INDEX> 表示实际值。
{
"indices": {
"<BACKING_INDEX>": {
"managed": true,
"policy": "app-logs-90d"
}
}
}如果阶段迟迟不推进,再查看完整 _ilm/explain?human:先确认 rollover 条件是否满足,再看当前 phase、action、step 与失败信息。若卡在分片迁移,不要先改 ILM 时间;应继续用 _cluster/allocation/explain 检查磁盘水位、allocation filter、awareness 或节点资格是否阻止了目标布局。
真正可靠的生命周期不是“策略已经创建”,而是新 backing index 能自动继承策略、rollover 能按容量或时间发生、旧索引能进入预期阶段,并且最终删除时间与业务保留期一致。