可观测性与稳定性 / 系统课时

索引为什么需要定期滚动

索引为什么需要定期滚动

持续日志如果一直写进同一个索引,主分片会不断变大,恢复、迁移和删除的成本也会一起上升。本篇用写别名演示滚动:达到时间、大小或文档数量阈值后,让新索引接管写入,同时保留旧索引用于检索和后续生命周期处理。

学习目标

  • 解释为什么长期写入单个索引会放大运维成本
  • 理解滚动时写别名、旧索引和新索引之间的关系
  • 能根据时间、大小和文档数量选择滚动条件

滚动解决的是写入边界问题

日志索引不是越少越好。一个写索引长期增长时,单个主分片会越来越大,节点故障后的恢复、分片迁移和重平衡都要搬运更多数据;而需要删除旧日志时,也只能以索引等实际管理单元执行,粒度过大就不灵活。

反过来,机械地每天创建一个索引也不一定合理。低流量业务可能每天只产生很少数据,最终形成大量小索引和小分片。更稳妥的思路是让“是否切换写索引”由可观测阈值决定,而不是只看日历。

滚动真正改变了什么

以写别名 logs-write 为例,开始时它指向 logs-000001。满足滚动条件后,系统创建 logs-000002 并把它设为新的写索引;logs-000001 不再通过这个写别名接收新日志,但仍可按索引名或其他查询入口被搜索、迁移或删除。OpenSearch 的 Rollover API 可以针对数据流或索引别名执行这种切换,数字结尾的索引名还可以自动递增。([OpenSearch Documentation][1])

日志滚动时写入口切换示意图

关键点是:应用不需要知道当前物理索引编号,只要一直向稳定的写入口发送日志。滚动把“业务写入地址”和“索引生命周期”解耦开来。

用一个可执行例子观察切换

下面以未启用安全认证的本地 OpenSearch 为例。把 <PORT> 替换为实际 REST 端口;若集群启用了 TLS 或认证,还需要按环境补充对应的 curl 参数。

bash
set -euo pipefail

OPENSEARCH_URL="http://localhost:<PORT>"

curl -sS -w '\nHTTP %{http_code}\n' -X PUT "$OPENSEARCH_URL/logs-000001" -H 'Content-Type: application/json' -d '{
  "aliases": {
    "logs-write": {
      "is_write_index": true
    }
  }
}'

curl -sS -w '\nHTTP %{http_code}\n' -X POST "$OPENSEARCH_URL/logs-write/_doc?refresh=true" -H 'Content-Type: application/json' -d '{
  "level": "INFO",
  "message": "first log line"
}'

curl -sS -w '\nHTTP %{http_code}\n' -X POST "$OPENSEARCH_URL/logs-write/_rollover" -H 'Content-Type: application/json' -d '{
  "conditions": {
    "max_docs": 1
  }
}'

预期结果:状态码依次为 HTTP 200、HTTP 201、HTTP 200。响应体的关键字段应包含以下内容,文档 ID 等动态值会因环境而不同。

text
Create index: {"acknowledged":true,"index":"logs-000001",...}
Index document: {"_index":"logs-000001","_id":"<ID>","result":"created",...}
Rollover: {"old_index":"logs-000001","new_index":"logs-000002","rolled_over":true,...}

示例把 max_docs 设为 1 只是为了快速观察行为。OpenSearch 的滚动条件还包括 max_age、max_docs 和按主分片总存储量计算的 max_size,满足配置条件时即可创建新的写索引。([OpenSearch Documentation][1])

阈值应该回答什么问题

条件 主要约束 适合解决的问题
max_age 写索引存在时间 防止低流量索引长期不切换
max_size 主分片总存储量 控制单个索引继续膨胀
max_docs 文档数量 数据大小较稳定时限制文档规模

生产环境通常不会直接照抄某个固定阈值,而是结合日志增长速度、主分片数量、节点磁盘和可接受的恢复时间来设定。时间阈值适合做兜底,大小或文档数量则更直接反映真实负载。

不要把滚动等同于删除

滚动只负责停止向旧索引继续写入,并创建新的写索引;它不会自动释放旧数据占用的磁盘。真正的保留期管理需要再交给 ISM、ILM 或其他生命周期机制,让旧索引在达到保留期限后进入删除阶段。

因此,“定期滚动”更准确的理解是持续检查边界并切换写入代际,而不是每天固定建一个新索引。这样既能避免无限增长,也能避免低流量场景产生过多小索引。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

索引为什么需要定期滚动

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通