可观测性与稳定性 / 系统课时

text 和 keyword 有什么区别

text 和 keyword 有什么区别

同样是字符串,日志里的 message 往往要按词搜索,而 service、level、主机名等字段更常用于精确过滤、排序和聚合。选错类型不会只影响查询写法,还可能让聚合失败或搜索结果与预期不一致。

学习目标

  • 区分 text 与 keyword 的索引和查询语义
  • 为日志消息、服务名和级别选择合适字段类型
  • 使用全文检索与精确聚合验证字段设计

两种字符串类型解决的是不同问题

text 面向“内容里包含什么”,写入时通常经过分析器分词并建立倒排索引。查询 database timeout 时,检索器可以按词项匹配消息内容,因此适合日志正文、异常描述等自然语言文本。

keyword 面向“这个值到底是什么”,整个字符串作为一个精确值参与索引。它适合 service=api、level=ERROR、host=web-01 这类过滤条件,也适合排序、去重和 terms 聚合。

需求 更适合的类型 典型字段
全文搜索、按词匹配 text message、stacktrace
精确过滤、排序、聚合 keyword service、level、host
既全文搜索又保留原值 text + keyword 多字段 url、user_agent 等

用一个索引验证差异

下面示例假设本地 Elasticsearch 可通过 http://localhost:9200 访问;若实例启用了认证,请在 curl 中补充对应认证参数。脚本把 message 定义为 text,把 service 和 level 定义为 keyword,再对消息做全文查询,并按服务名聚合。

bash
ES=${ES:-http://localhost:9200}

curl -s -X DELETE "$ES/logs-type-demo" >/dev/null

curl -s -X PUT "$ES/logs-type-demo" -H 'Content-Type: application/json' -d '{
  "mappings": {
    "properties": {
      "message": { "type": "text" },
      "service": { "type": "keyword" },
      "level": { "type": "keyword" }
    }
  }
}' >/dev/null

curl -s -X PUT "$ES/logs-type-demo/_doc/1?refresh=true" -H 'Content-Type: application/json' -d '{"message":"Database timeout while reading order","service":"api","level":"ERROR"}' >/dev/null

curl -s -X PUT "$ES/logs-type-demo/_doc/2?refresh=true" -H 'Content-Type: application/json' -d '{"message":"Database timeout in worker","service":"worker","level":"WARN"}' >/dev/null

curl -s -X POST "$ES/logs-type-demo/_search?filter_path=aggregations.by_service.buckets" -H 'Content-Type: application/json' -d '{
  "size": 0,
  "query": {
    "match": {
      "message": "database timeout"
    }
  },
  "aggs": {
    "by_service": {
      "terms": {
        "field": "service"
      }
    }
  }
}'

预期输出

json
{"aggregations":{"by_service":{"buckets":[{"key":"api","doc_count":1},{"key":"worker","doc_count":1}]}}}

match 查询会对 message 使用与字段匹配的分析过程,因此大小写和分词后的词项可以参与全文检索;terms 聚合则直接使用 service 的精确值生成桶。

为什么不能把所有字符串都设成 text

对 text 字段做排序或 terms 聚合通常不是合适做法。Elasticsearch 默认不会为 text 启用用于这类操作的 field data,因为它可能占用大量堆内存。日志维度字段如果需要聚合,应直接映射为 keyword,而不是事后给 text 强行开启 fielddata。

反过来,把长日志消息定义为 keyword,全文检索就失去了分词能力。查询者必须更接近完整值或使用其他模式匹配,既不自然,也可能带来更高查询成本。

需要两种能力时使用多字段

有些字段既需要全文搜索,又需要原值聚合,可以把主字段设为 text,同时增加一个 keyword 子字段。例如 message 可以保留全文搜索能力,并通过 message.raw 做精确值操作。

片段示例:以下内容需要放在索引 Mapping 的 mappings.properties 中。

json
{
  "message": {
    "type": "text",
    "fields": {
      "raw": {
        "type": "keyword"
      }
    }
  }
}

生效后,message 用于 match 等全文查询,message.raw 用于精确过滤或聚合。对于日志正文,通常没有必要对整条消息聚合;多字段更适合确实同时存在两类查询需求的字符串。

选择类型时可以用一个简单判断:用户是在问“内容里有没有这些词”,还是在问“值是否等于这个标签”。前者优先 text,后者优先 keyword。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

text 和 keyword 有什么区别

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通