NoSQL 与搜索 / 系统课时

设计 Rollover 边界

设计 Rollover 边界

Rollover 的目标不是“每天切一个索引”,而是让 write index 在可预测的分片大小、文档密度和时间窗口内结束写入。合理边界能减少超大分片带来的恢复成本,也能避免低流量场景产生大量小分片。设计时应先看真实写入速率,再把大小、文档数与年龄组合成条件。

学习目标

  • 根据主分片大小、文档数和索引年龄选择 rollover 条件。
  • 正确理解多个 max_* 与 min_* 条件的组合语义。
  • 使用 Rollover API 的 dry_run 校准阈值,并把最终边界交给 ILM 自动执行。

先把 Rollover 目标定义成分片边界

优先从“单个主分片希望长到多大”反推,而不是先定一天一个索引。实践中可以先把单个主分片控制在约 10–50 GB 的常见范围,再结合节点磁盘、恢复时间、查询并发和副本数修正目标。对日志类负载,最终阈值应来自生产观测而不是固定模板。

如果每日产生约 120 GB 的 primary 数据、write index 有 3 个主分片,那么每个主分片一天大约增长 40 GB。此时把 max_primary_shard_size 设在约 40 GB,就会让 rollover 大致跟随真实数据量,而不是依赖自然日边界。

文档数条件用于补充“数据非常省空间但单分片文档过多”的情况;max_age 则更像安全上限,防止低于大小阈值的索引长时间保持写入。不要只看总索引大小,因为分片不均衡时,最大的主分片才更接近恢复与查询成本的真实瓶颈。

Rollover 的大小、文档数与时间条件组合

理解条件组合语义

当同时配置多个 rollover 条件时,规则不是“全部条件都满足”。只要任意一个 max_* 条件满足,并且所有 min_* 条件都满足,就可以 rollover。换成逻辑表达就是:(maxA OR maxB OR maxC) AND minA AND minB。

常用边界的职责可以这样分工:

条件 更适合控制什么 典型注意点
max_primary_shard_size 单个主分片容量 max_size 已标记为 deprecated,优先使用该条件
max_docs 整个索引的主分片文档总数 不含 replica;未 refresh 的新文档不计入当前计数
max_primary_shard_docs 单个主分片文档数 适合高压缩、小文档场景
max_age write index 最长持续写入时间 它不是“每天零点切索引”
min_primary_shard_size 防止低流量索引过早切分 会阻止仅由 max_age 触发的过小 rollover

默认情况下,空 write index 即使达到 max_age 也不会 rollover。若确实需要空索引按年龄切换,可以显式设置 min_docs: 0,但多数日志和指标场景没有必要制造空 backing index。

用 Dry Run 校准阈值

不要先上线策略再观察结果。对已有 Data Stream,可以用 Rollover API 的 dry_run=true 检查当前 write index 是否满足条件;它只计算,不创建新 backing index。下面假设目标 Data Stream 叫 logs-app-prod。

http
POST logs-app-prod/_rollover?dry_run=true&filter_path=dry_run,rolled_over,conditions
{
  "conditions": {
    "max_primary_shard_size": "40gb",
    "max_docs": 60000000,
    "max_age": "2d",
    "min_primary_shard_size": "5gb"
  }
}

预期结果

text
HTTP 200
dry_run=true
rolled_over=false
conditions 中会返回每个配置条件当前为 true 或 false;dry run 不会创建新的 backing index。

如果 max_age 经常先满足,而主分片只有几百 MB,说明时间阈值太短或需要 min_primary_shard_size;如果大小阈值总是先满足且 rollover 频率远高于预期,则应检查写入突增、主分片数量和目标分片大小,而不是机械提高 max_age。自动生命周期管理会周期性检查条件,因此越过阈值与实际完成 rollover 也不保证发生在同一瞬间。

把边界交给 ILM 自动执行

在支持 ILM 的 Elastic Stack 部署中,可把验证过的条件放进 ILM hot phase。下面创建一个策略;max_* 负责触发,min_primary_shard_size 负责避免过小索引。创建策略后,还要在 Data Stream 匹配的 index template 中通过 index.lifecycle.name 关联它,才能让后续 backing index 持续受管。

http
PUT _ilm/policy/logs-app-policy
{
  "policy": {
    "phases": {
      "hot": {
        "actions": {
          "rollover": {
            "max_primary_shard_size": "40gb",
            "max_docs": 60000000,
            "max_age": "2d",
            "min_primary_shard_size": "5gb"
          }
        }
      }
    }
  }
}

预期输出

json
{
  "acknowledged": true
}

片段示例:把下面设置合并进现有 Data Stream index template 的 template.settings,不要为了加 ILM 名称而覆盖已有 mappings 或其他 settings。

json
{
  "index.lifecycle.name": "logs-app-policy"
}

该配置生效后,可用 GET <BACKING_INDEX>/_ilm/explain 查看具体 backing index 的 phase、action 与 step。若使用 Elasticsearch Serverless,则不要复制这段 ILM 配置;Serverless 不提供 ILM,应使用 Data Stream Lifecycle 对应能力。

避免三类失衡

第一类是超大分片:恢复、迁移和节点重启时需要搬运更多数据。解决方向是降低目标主分片大小、提高合理的主分片并行度,或处理异常写入峰值,而不是只按日期切分。

第二类是大量小分片:每个分片都有固定的元数据、文件句柄和查询调度成本。低流量 Data Stream 若只设置很短的 max_age,最容易出现这种问题;此时应延长年龄上限或增加 min_primary_shard_size。

第三类是只看平均值:总 primary store size 看起来合理,不代表每个主分片都均匀。校准 rollover 时应同时观察最大的 primary shard、文档数和写入速率,并在流量高峰、低谷和扩容后重新验证。

合适的 rollover 边界应该让“典型流量下由大小触发、异常小流量下由年龄兜底、极高文档密度下由文档数保护”成为可观测的常态,而不是把固定日历周期当成唯一规则。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

设计 Rollover 边界

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通