可观测性与稳定性 / 系统课时

用生命周期策略自动清理日志

用生命周期策略自动清理日志

日志索引完成滚动后,如果历史索引始终保留,磁盘占用仍会持续增长。Elasticsearch ILM 可以按索引年龄自动执行滚动、迁移和删除等动作,把日志保留规则从人工清理变成可重复执行的生命周期策略。

学习目标

  • 理解 ILM 的阶段与阶段转换条件
  • 能创建包含 rollover 和删除动作的生命周期策略
  • 能检查索引当前生命周期状态并定位未按期执行的问题

生命周期如何推进

ILM 将索引生命周期划分为 hot、warm、cold、frozen 和 delete 等阶段。日志通常在 hot 阶段持续写入并滚动,历史数据随后进入成本更低的阶段,最终在达到保留期限后删除。

ILM 日志生命周期状态迁移

并不是每套日志都必须经过全部阶段。若集群没有专门的 warm 或 cold 数据层,最小策略可以只保留 hot 和 delete,以免配置了无法落地的数据迁移动作。

创建生命周期策略

下面创建 logs-policy:hot 阶段在主分片达到 50 GB 或索引达到 1 天时滚动,滚动后的索引保留 30 天再删除。

bash
curl -X PUT "http://localhost:9200/_ilm/policy/logs-policy" -H "Content-Type: application/json" -d '{
  "policy": {
    "phases": {
      "hot": {
        "actions": {
          "rollover": {
            "max_primary_shard_size": "50gb",
            "max_age": "1d"
          }
        }
      },
      "delete": {
        "min_age": "30d",
        "actions": {
          "delete": {}
        }
      }
    }
  }
}'

预期结果:

json
{"acknowledged":true}

min_age 表示进入该阶段前需要达到的最小年龄。对于已经发生 rollover 的受管索引,后续阶段的年龄基于 rollover 时间计算,而不是简单按原索引创建时间理解,因此排查“为什么还没删除”时必须检查生命周期状态。

让新索引自动使用策略

只有创建策略还不够,索引必须关联 ILM 策略。使用传统索引和写入别名时,可以通过索引模板为后续日志索引自动配置策略和 rollover 别名:

bash
curl -X PUT "http://localhost:9200/_index_template/logs-template" -H "Content-Type: application/json" -d '{
  "index_patterns": ["logs-*"],
  "template": {
    "settings": {
      "index.lifecycle.name": "logs-policy",
      "index.lifecycle.rollover_alias": "logs-write"
    }
  }
}'

预期结果:

json
{"acknowledged":true}

模板只影响之后匹配并创建的索引,不会自动把已有历史索引全部改成受管状态。初始化首个索引时,还需要正确建立 logs-write 写入别名。

检查 ILM 是否按计划执行

当索引没有如期滚动或删除时,先用 explain API 查看它处于哪个阶段、动作和步骤,而不是直接手工删除:

bash
curl -s "http://localhost:9200/logs-000001/_ilm/explain?pretty"

预期结果的时间戳、阶段和步骤取决于实际运行状态,但应能看到索引是否由 ILM 管理以及正在执行的阶段:

json
{
  "indices": {
    "logs-000001": {
      "index": "logs-000001",
      "managed": true,
      "policy": "logs-policy",
      "phase": "hot"
    }
  }
}

如果 managed 为 false,优先检查索引是否应用了正确模板和 index.lifecycle.name;如果长期停在某个步骤,则继续根据 explain 返回的 action、step 和错误信息定位,而不是反复重建策略。

ILM 的关键不是单纯“定时删日志”,而是把滚动、保留期限和删除动作放进同一套可观察的状态流程。策略上线后应持续检查实际索引年龄、磁盘增长和查询需求,再调整保留时间,避免只按固定天数估算成本。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

用生命周期策略自动清理日志

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通