可观测性与稳定性 / 系统课时

数据流适合哪些日志场景

数据流适合哪些日志场景

日志天然具有持续追加、按时间查询和定期淘汰的特点。Elasticsearch data stream 把多个后备索引组织成一个稳定的逻辑入口,并配合 rollover 持续产生新索引,适合长期写入的时序日志。

学习目标

  • 理解 data stream、写索引与后备索引之间的关系
  • 能判断日志是否适合使用 data stream
  • 能创建最小 data stream 并验证写入行为

数据流不是单个索引

应用写入 data stream 时,不需要知道当前实际写入哪个后备索引。data stream 维护一组隐藏的 backing indices,其中只有当前 write index 接收新文档;发生 rollover 后,新后备索引成为 write index,旧索引继续承担历史查询。

Data stream 写入与 rollover 模型

这种模型把“应用写到哪里”和“物理索引如何滚动”分离。采集端持续面向同一个 data stream 写入,索引滚动和生命周期策略则在存储侧管理。

哪些日志适合 data stream

data stream 面向时序数据,日志通常是最典型的场景。适合的数据一般同时具备几个特征:文档不断追加;每条文档具有时间戳;查询主要围绕时间范围展开;旧数据最终可以按照保留策略删除。

例如 Web 访问日志、应用运行日志、安全审计日志和基础设施事件都常符合这个模型。data stream 中的文档需要包含 @timestamp 字段,它用于表达时序数据的时间信息。

如果业务主要频繁按照文档 ID 原地更新、删除单条记录,或者数据本质是当前状态而不是历史事件,普通索引通常更直接。data stream 的核心优势来自追加型时序数据,而不是因为它比普通索引“更新”。

创建并写入一个数据流

创建 data stream 前,需要先建立匹配它的索引模板,并在模板中声明 data_stream。下面使用 logs-app-* 作为匹配模式。

bash
curl -X PUT "http://localhost:9200/_index_template/logs-app-template" \
  -H "Content-Type: application/json" \
  -d '{
    "index_patterns": ["logs-app-*"],
    "data_stream": {},
    "template": {
      "mappings": {
        "properties": {
          "@timestamp": { "type": "date" },
          "level": { "type": "keyword" },
          "message": { "type": "text" }
        }
      }
    }
  }'
curl -X PUT "http://localhost:9200/_data_stream/logs-app-default"

预期输出:两个请求成功时都会返回确认结果。

json
{"acknowledged":true}

随后通过 data stream 名称写入日志。追加事件时使用 create 操作,并为文档提供 @timestamp。

bash
curl -X POST "http://localhost:9200/logs-app-default/_doc?op_type=create" \
  -H "Content-Type: application/json" \
  -d '{
    "@timestamp": "2026-09-20T00:00:00Z",
    "level": "ERROR",
    "message": "database connection timeout"
  }'

预期结果:HTTP 请求成功后,响应中的 result 为 created,并包含 Elasticsearch 分配的动态 _id 和实际后备索引名称;这些动态值每次可能不同。

text
HTTP 201
result: created
_id: <ID>
_index: <BACKING_INDEX>

查看逻辑入口与后备索引

应用通常只需要使用 data stream 名称,但运维排查时要能确认当前有哪些后备索引以及 generation 是否发生变化。

bash
curl "http://localhost:9200/_data_stream/logs-app-default"

预期结果:响应中的 data stream 名称为 logs-app-default,并列出当前 backing indices。具体索引名称和 generation 会随 rollover 次数变化。

text
name: logs-app-default
backing indices: <BACKING_INDEX> ...
generation: <ID>

什么时候选择它

判断时可以抓住一个核心问题:这批数据是不是不断追加的时间序列事件? 如果采集端需要长期使用稳定名称写入,存储端又需要持续滚动索引并管理历史数据,data stream 很契合。

如果数据需要大量随机更新,或者索引名称本身承担明确业务语义并需要由应用直接控制,则普通索引可能更合适。选择 data stream 的目的,是让时序日志的写入入口、后备索引滚动和后续生命周期管理形成稳定模型,而不是简单换一种索引命名方式。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

数据流适合哪些日志场景

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通