可观测性与稳定性 / 系统课时
生命周期策略怎样自动删旧日志
生命周期策略怎样自动删旧日志
手工删除旧日志很容易漏删、删早或误删。更可靠的做法是把“何时进入下一阶段、何时执行删除”写成生命周期策略,让集群持续检查索引年龄或滚动后的存活时间,并自动执行到期处理。
学习目标
- 理解 OpenSearch ISM 与 Elasticsearch ILM 的共同生命周期模型
- 能读懂一条从热数据到删除阶段的保留策略
- 区分索引创建时间、滚动时间与保留期之间的关系
自动删除的共同模型
OpenSearch ISM 用“状态、动作、转换条件”描述生命周期;Elasticsearch ILM 用 hot、warm、cold、frozen、delete 等阶段和阶段动作描述生命周期。两者表达方式不同,但核心都是:先让索引进入受管状态,再由后台机制检查条件,满足条件后推进到下一状态并执行动作。OpenSearch 会在当前状态动作完成后检查转换,Elasticsearch 则按阶段最小年龄和动作完成情况推进。([OpenSearch Documentation][2])

自动化的价值不只是“省一次删除命令”,而是把保留期变成可审计、可重复的规则。只要策略绑定方式正确,新索引就能沿同一生命周期处理,不需要运维人员每天计算日期。
OpenSearch ISM 用状态和转换表达保留期
下面是一个删除型 ISM 策略载荷,适用于已经按天或按批次切分、每个旧索引会停止继续写入的日志。它让匹配 logs-* 的新索引从 hot 状态开始,索引年龄达到 30 天后转换到 delete,随后执行删除动作。ism_template 用于让后续匹配的索引自动关联这条策略。OpenSearch 官方文档定义了 min_index_age 转换条件和 delete 动作。([OpenSearch Documentation][2])
{
"policy": {
"description": "Delete log indexes after 30 days",
"default_state": "hot",
"states": [
{
"name": "hot",
"actions": [],
"transitions": [
{
"state_name": "delete",
"conditions": {
"min_index_age": "30d"
}
}
]
},
{
"name": "delete",
"actions": [
{
"delete": {}
}
],
"transitions": []
}
],
"ism_template": {
"index_patterns": [
"logs-*"
],
"priority": 100
}
}
}这段配置需要作为策略内容提交到 PUT _plugins/_ism/policies/<POLICY_ID>。生效后可用 GET _plugins/_ism/explain/<INDEX> 检查某个索引当前绑定的策略、状态和动作。对于已经存在且未自动绑定的索引,需要显式添加策略,不能只依赖后续新建索引的模板匹配。
Elasticsearch ILM 用阶段表达同一件事
ILM 常把滚动和删除放进同一条策略。下面的策略在 hot 阶段让写索引达到主分片大小 30 GB 或年龄 7 天时滚动,并在滚动后的 30 天进入 delete 阶段。Elastic 文档说明:使用 ILM rollover 后,后续阶段的 min_age 以滚动时间而不是原始创建时间为基准。([Elastic][4])
{
"policy": {
"phases": {
"hot": {
"actions": {
"rollover": {
"max_primary_shard_size": "30gb",
"max_age": "7d"
}
}
},
"delete": {
"min_age": "30d",
"actions": {
"delete": {}
}
}
}
}
}这段配置可作为 PUT _ilm/policy/<POLICY_ID> 的策略载荷,再通过数据流或索引模板应用到日志索引。策略创建成功只代表规则已经存在;真正验收时还要确认目标索引已受 ILM 管理,并用 <INDEX>/_ilm/explain 查看当前阶段和动作。
保留期最容易错在起算点
“保留 30 天”必须先说明从什么时候开始计时。OpenSearch ISM 的 min_index_age 表示从索引创建时间计算,而 min_rollover_age 可以表示从滚动完成后计算;Elastic ILM 在发生 rollover 后,会让后续阶段的 min_age 相对滚动时间计算。([OpenSearch Documentation][2])
如果业务要求“日志事件时间超过 30 天就必须删除”,仅按索引创建时间或滚动时间并不一定严格等价,尤其在补录旧日志、跨天写入或迁移历史数据时。此时要先定义合规口径,再决定索引边界和生命周期计时方式。
删除前要验证三件事
上线自动删除前,至少确认策略匹配范围、保留期起算点和恢复方案。匹配范围决定哪些索引会进入策略,起算点决定何时满足删除条件,恢复方案决定误删或追溯需求能否通过快照等机制处理。
生命周期策略应该先在测试索引上走完整个状态变化,再推广到正式日志。真正稳定的保留策略不是“30 天后执行一次 DELETE”,而是让正确的索引在正确的时间进入不可逆的删除动作。