可观测性与稳定性 / 系统课时

用索引模板统一字段规则

用索引模板统一字段规则

日志每天创建新索引时,如果逐个索引手工设置分片数、字段类型和动态映射规则,很容易出现同名字段类型不一致。索引模板可以把这些规则集中定义,并在匹配的新索引创建时自动应用。

学习目标

  • 理解索引模板的匹配与自动应用机制
  • 能为日志索引统一配置 settings 和 mappings
  • 能验证新索引是否正确继承模板

模板解决什么问题

Elasticsearch 的索引模板不会修改已经存在的索引,而是在创建新索引时根据索引名称等条件匹配模板,再把模板中的 settings、mappings 等配置应用到新索引。

例如应用持续写入 app-logs-* 索引,如果没有统一规则,某一天的 status 可能被识别为整数,另一天却因异常日志被识别为字符串。后续跨索引查询和聚合就可能出现字段类型冲突。

索引模板把“每个新日志索引都应该遵守什么结构”从人工约定变成 Elasticsearch 自动执行的规则。

索引模板匹配并创建日志索引的流程

创建日志索引模板

下面创建一个 composable index template。index_patterns 决定模板匹配哪些索引,priority 用于多个模板同时匹配时确定优先级,真正需要复用的索引配置位于 template 中。

bash
curl -X PUT "http://localhost:9200/_index_template/app-logs-template" \
  -H "Content-Type: application/json" \
  -d '{
    "index_patterns": ["app-logs-*"],
    "priority": 100,
    "template": {
      "settings": {
        "number_of_shards": 1,
        "number_of_replicas": 1
      },
      "mappings": {
        "properties": {
          "@timestamp": { "type": "date" },
          "level": { "type": "keyword" },
          "status": { "type": "integer" },
          "message": { "type": "text" }
        }
      }
    }
  }'

预期输出:模板创建成功时 Elasticsearch 返回确认结果。

json
{"acknowledged":true}

这里把 level 定义为 keyword,适合精确过滤和聚合;message 定义为 text,适合全文检索。字段类型应依据查询方式确定,而不是机械地把所有字符串设成同一种类型。

验证模板是否真正生效

先创建一个符合 app-logs-* 模式的新索引,再读取它的 settings 和 mappings。测试时应使用此前不存在的索引名,否则无法验证创建阶段是否应用了模板。

bash
curl -X PUT "http://localhost:9200/app-logs-<ID>"
curl "http://localhost:9200/app-logs-<ID>/_mapping"

预期结果:第一条请求返回 acknowledged 为 true;第二条响应中可以看到 @timestamp 为 date、level 为 keyword、status 为 integer、message 为 text。<ID> 替换为本次测试使用的唯一索引标识。

text
app-logs-<ID> 创建成功,并继承模板中声明的字段映射

还可以直接读取模板,确认服务端保存的版本与预期一致。

bash
curl "http://localhost:9200/_index_template/app-logs-template"

预期结果:响应包含名为 app-logs-template 的模板以及 app-logs-* 匹配规则。具体响应还会包含 Elasticsearch 返回的其他元数据,因此不应依赖完整 JSON 字符串逐字比较。

避免模板规则失控

模板匹配范围应尽量明确。像 * 这样过宽的模式可能意外影响系统索引或其他业务索引;多个模板能够匹配同一索引时,也要检查优先级以及组合后的配置是否符合预期。

生产日志通常还会把公共配置拆成 component template,再由多个 index template 组合复用。只有少量索引时不必急于拆分;当多个日志类型共享时间字段、分片策略或公共 mappings 时,再抽取公共组件更容易维护。

索引模板真正要解决的不是“少写几次 JSON”,而是让字段契约在索引不断创建和滚动的过程中保持稳定。字段设计发生破坏性变化时,应规划新索引或迁移数据,而不是期待修改模板自动修复历史索引。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

用索引模板统一字段规则

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通