NoSQL 与搜索 / 系统课时

用 ILM 驱动数据生命周期

用 ILM 驱动数据生命周期

本课把“索引越积越多”变成可验证的自动流程:为日志数据流配置 rollover、warm、cold 与删除阶段,让旧数据按时间和分片大小退出写入路径、迁移到合适的数据层,并能用 ILM API 判断当前执行到了哪一步。

学习目标

  • 能为数据流创建并绑定包含 rollover、阶段迁移和删除规则的 ILM 策略
  • 理解 rollover 条件、阶段 min_age 与数据层迁移之间的时间关系
  • 能用 _ilm/explain 验证策略是否接管索引,并定位常见卡点

把生命周期拆成阶段与动作

ILM 管理的是索引或数据流的 backing index。典型时序是:新数据在 hot 阶段持续写入;满足 rollover 条件后生成新的写索引,旧索引再按 min_age 进入 warm、cold,最终在 delete 阶段被删除。阶段描述“何时进入”,action 描述“进入后做什么”。

对于采用 data tier 角色的集群,ILM 会默认注入 migrate 动作,根据当前阶段调整 _tier_preference。因此常规 hot-warm-cold 架构不需要再用自定义节点属性手工模拟数据层;只有存在特殊放置约束时,才应额外叠加 allocation filter。

ILM 从 rollover 到 warm、cold 与 delete 的阶段迁移

创建策略并绑定到数据流

下面以 app-logs-prod 数据流为例。策略在单个主分片达到 30 GB 或索引年龄达到 1 天时 rollover;旧 backing index 在 rollover 后 7 天进入 warm、30 天进入 cold、90 天删除。数据流不需要配置 index.lifecycle.rollover_alias。

http
PUT _ilm/policy/app-logs-90d
{
  "policy": {
    "phases": {
      "hot": {
        "actions": {
          "rollover": {
            "max_primary_shard_size": "30gb",
            "max_age": "1d"
          }
        }
      },
      "warm": {
        "min_age": "7d",
        "actions": {
          "set_priority": {
            "priority": 50
          }
        }
      },
      "cold": {
        "min_age": "30d",
        "actions": {
          "set_priority": {
            "priority": 0
          }
        }
      },
      "delete": {
        "min_age": "90d",
        "actions": {
          "delete": {}
        }
      }
    }
  }
}

PUT _index_template/app-logs-template
{
  "index_patterns": ["app-logs-*"],
  "priority": 500,
  "data_stream": {},
  "template": {
    "settings": {
      "index.lifecycle.name": "app-logs-90d",
      "number_of_shards": 1,
      "number_of_replicas": 1
    },
    "mappings": {
      "properties": {
        "@timestamp": {
          "type": "date"
        },
        "message": {
          "type": "text"
        }
      }
    }
  }
}

PUT _data_stream/app-logs-prod

预期结果:三个创建请求都应得到确认。

json
{
  "acknowledged": true
}

模板只决定之后创建的 backing index 使用什么设置。若修改模板中的策略名称,已经存在的 backing index 不会仅因为模板变化而自动改绑策略,排障时应直接检查实际索引的 ILM 状态。

读懂 rollover 与 min_age

rollover 可以同时配置多个 max_* 条件;任意一个最大条件满足即可触发,但若还配置了 min_* 条件,则所有最小条件都必须先满足。默认情况下空索引不会因为 max_age 到期而 rollover,因此低流量或测试数据流可能长时间停在 hot 阶段。

更容易误判的是 min_age。对已经 rollover 的索引,后续阶段的年龄从 rollover 时刻计算,而不是继续使用最初创建时间。所以上例的“warm 7d、delete 90d”分别表示 rollover 后 7 天和 90 天,而不是数据流首次创建后的第 7 天和第 90 天。

验证策略是否真正接管

创建数据流后先检查 ILM 是否管理其 backing index。用 filter_path 只保留稳定字段,避免被大量时间戳和内部步骤干扰。

http
GET app-logs-prod/_ilm/explain?filter_path=indices.*.managed,indices.*.policy

预期结果中的 backing index 名称会随数据流代际变化,因此用 <BACKING_INDEX> 表示实际值。

json
{
  "indices": {
    "<BACKING_INDEX>": {
      "managed": true,
      "policy": "app-logs-90d"
    }
  }
}

如果阶段迟迟不推进,再查看完整 _ilm/explain?human:先确认 rollover 条件是否满足,再看当前 phase、action、step 与失败信息。若卡在分片迁移,不要先改 ILM 时间;应继续用 _cluster/allocation/explain 检查磁盘水位、allocation filter、awareness 或节点资格是否阻止了目标布局。

真正可靠的生命周期不是“策略已经创建”,而是新 backing index 能自动继承策略、rollover 能按容量或时间发生、旧索引能进入预期阶段,并且最终删除时间与业务保留期一致。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

用 ILM 驱动数据生命周期

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通