可观测性与稳定性 / 系统课时

生命周期策略怎样自动删旧日志

生命周期策略怎样自动删旧日志

手工删除旧日志很容易漏删、删早或误删。更可靠的做法是把“何时进入下一阶段、何时执行删除”写成生命周期策略,让集群持续检查索引年龄或滚动后的存活时间,并自动执行到期处理。

学习目标

  • 理解 OpenSearch ISM 与 Elasticsearch ILM 的共同生命周期模型
  • 能读懂一条从热数据到删除阶段的保留策略
  • 区分索引创建时间、滚动时间与保留期之间的关系

自动删除的共同模型

OpenSearch ISM 用“状态、动作、转换条件”描述生命周期;Elasticsearch ILM 用 hot、warm、cold、frozen、delete 等阶段和阶段动作描述生命周期。两者表达方式不同,但核心都是:先让索引进入受管状态,再由后台机制检查条件,满足条件后推进到下一状态并执行动作。OpenSearch 会在当前状态动作完成后检查转换,Elasticsearch 则按阶段最小年龄和动作完成情况推进。([OpenSearch Documentation][2])

日志生命周期自动删除流程图

自动化的价值不只是“省一次删除命令”,而是把保留期变成可审计、可重复的规则。只要策略绑定方式正确,新索引就能沿同一生命周期处理,不需要运维人员每天计算日期。

OpenSearch ISM 用状态和转换表达保留期

下面是一个删除型 ISM 策略载荷,适用于已经按天或按批次切分、每个旧索引会停止继续写入的日志。它让匹配 logs-* 的新索引从 hot 状态开始,索引年龄达到 30 天后转换到 delete,随后执行删除动作。ism_template 用于让后续匹配的索引自动关联这条策略。OpenSearch 官方文档定义了 min_index_age 转换条件和 delete 动作。([OpenSearch Documentation][2])

json
{
  "policy": {
    "description": "Delete log indexes after 30 days",
    "default_state": "hot",
    "states": [
      {
        "name": "hot",
        "actions": [],
        "transitions": [
          {
            "state_name": "delete",
            "conditions": {
              "min_index_age": "30d"
            }
          }
        ]
      },
      {
        "name": "delete",
        "actions": [
          {
            "delete": {}
          }
        ],
        "transitions": []
      }
    ],
    "ism_template": {
      "index_patterns": [
        "logs-*"
      ],
      "priority": 100
    }
  }
}

这段配置需要作为策略内容提交到 PUT _plugins/_ism/policies/<POLICY_ID>。生效后可用 GET _plugins/_ism/explain/<INDEX> 检查某个索引当前绑定的策略、状态和动作。对于已经存在且未自动绑定的索引,需要显式添加策略,不能只依赖后续新建索引的模板匹配。

Elasticsearch ILM 用阶段表达同一件事

ILM 常把滚动和删除放进同一条策略。下面的策略在 hot 阶段让写索引达到主分片大小 30 GB 或年龄 7 天时滚动,并在滚动后的 30 天进入 delete 阶段。Elastic 文档说明:使用 ILM rollover 后,后续阶段的 min_age 以滚动时间而不是原始创建时间为基准。([Elastic][4])

json
{
  "policy": {
    "phases": {
      "hot": {
        "actions": {
          "rollover": {
            "max_primary_shard_size": "30gb",
            "max_age": "7d"
          }
        }
      },
      "delete": {
        "min_age": "30d",
        "actions": {
          "delete": {}
        }
      }
    }
  }
}

这段配置可作为 PUT _ilm/policy/<POLICY_ID> 的策略载荷,再通过数据流或索引模板应用到日志索引。策略创建成功只代表规则已经存在;真正验收时还要确认目标索引已受 ILM 管理,并用 <INDEX>/_ilm/explain 查看当前阶段和动作。

保留期最容易错在起算点

“保留 30 天”必须先说明从什么时候开始计时。OpenSearch ISM 的 min_index_age 表示从索引创建时间计算,而 min_rollover_age 可以表示从滚动完成后计算;Elastic ILM 在发生 rollover 后,会让后续阶段的 min_age 相对滚动时间计算。([OpenSearch Documentation][2])

如果业务要求“日志事件时间超过 30 天就必须删除”,仅按索引创建时间或滚动时间并不一定严格等价,尤其在补录旧日志、跨天写入或迁移历史数据时。此时要先定义合规口径,再决定索引边界和生命周期计时方式。

删除前要验证三件事

上线自动删除前,至少确认策略匹配范围、保留期起算点和恢复方案。匹配范围决定哪些索引会进入策略,起算点决定何时满足删除条件,恢复方案决定误删或追溯需求能否通过快照等机制处理。

生命周期策略应该先在测试索引上走完整个状态变化,再推广到正式日志。真正稳定的保留策略不是“30 天后执行一次 DELETE”,而是让正确的索引在正确的时间进入不可逆的删除动作。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

生命周期策略怎样自动删旧日志

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通