可观测性与稳定性 / 系统课时
text 和 keyword 有什么区别
text 和 keyword 有什么区别
同样是字符串,日志里的 message 往往要按词搜索,而 service、level、主机名等字段更常用于精确过滤、排序和聚合。选错类型不会只影响查询写法,还可能让聚合失败或搜索结果与预期不一致。
学习目标
- 区分
text与keyword的索引和查询语义 - 为日志消息、服务名和级别选择合适字段类型
- 使用全文检索与精确聚合验证字段设计
两种字符串类型解决的是不同问题
text 面向“内容里包含什么”,写入时通常经过分析器分词并建立倒排索引。查询 database timeout 时,检索器可以按词项匹配消息内容,因此适合日志正文、异常描述等自然语言文本。
keyword 面向“这个值到底是什么”,整个字符串作为一个精确值参与索引。它适合 service=api、level=ERROR、host=web-01 这类过滤条件,也适合排序、去重和 terms 聚合。
| 需求 | 更适合的类型 | 典型字段 |
|---|---|---|
| 全文搜索、按词匹配 | text |
message、stacktrace |
| 精确过滤、排序、聚合 | keyword |
service、level、host |
| 既全文搜索又保留原值 | text + keyword 多字段 |
url、user_agent 等 |
用一个索引验证差异
下面示例假设本地 Elasticsearch 可通过 http://localhost:9200 访问;若实例启用了认证,请在 curl 中补充对应认证参数。脚本把 message 定义为 text,把 service 和 level 定义为 keyword,再对消息做全文查询,并按服务名聚合。
ES=${ES:-http://localhost:9200}
curl -s -X DELETE "$ES/logs-type-demo" >/dev/null
curl -s -X PUT "$ES/logs-type-demo" -H 'Content-Type: application/json' -d '{
"mappings": {
"properties": {
"message": { "type": "text" },
"service": { "type": "keyword" },
"level": { "type": "keyword" }
}
}
}' >/dev/null
curl -s -X PUT "$ES/logs-type-demo/_doc/1?refresh=true" -H 'Content-Type: application/json' -d '{"message":"Database timeout while reading order","service":"api","level":"ERROR"}' >/dev/null
curl -s -X PUT "$ES/logs-type-demo/_doc/2?refresh=true" -H 'Content-Type: application/json' -d '{"message":"Database timeout in worker","service":"worker","level":"WARN"}' >/dev/null
curl -s -X POST "$ES/logs-type-demo/_search?filter_path=aggregations.by_service.buckets" -H 'Content-Type: application/json' -d '{
"size": 0,
"query": {
"match": {
"message": "database timeout"
}
},
"aggs": {
"by_service": {
"terms": {
"field": "service"
}
}
}
}'预期输出
{"aggregations":{"by_service":{"buckets":[{"key":"api","doc_count":1},{"key":"worker","doc_count":1}]}}}match 查询会对 message 使用与字段匹配的分析过程,因此大小写和分词后的词项可以参与全文检索;terms 聚合则直接使用 service 的精确值生成桶。
为什么不能把所有字符串都设成 text
对 text 字段做排序或 terms 聚合通常不是合适做法。Elasticsearch 默认不会为 text 启用用于这类操作的 field data,因为它可能占用大量堆内存。日志维度字段如果需要聚合,应直接映射为 keyword,而不是事后给 text 强行开启 fielddata。
反过来,把长日志消息定义为 keyword,全文检索就失去了分词能力。查询者必须更接近完整值或使用其他模式匹配,既不自然,也可能带来更高查询成本。
需要两种能力时使用多字段
有些字段既需要全文搜索,又需要原值聚合,可以把主字段设为 text,同时增加一个 keyword 子字段。例如 message 可以保留全文搜索能力,并通过 message.raw 做精确值操作。
片段示例:以下内容需要放在索引 Mapping 的 mappings.properties 中。
{
"message": {
"type": "text",
"fields": {
"raw": {
"type": "keyword"
}
}
}
}生效后,message 用于 match 等全文查询,message.raw 用于精确过滤或聚合。对于日志正文,通常没有必要对整条消息聚合;多字段更适合确实同时存在两类查询需求的字符串。
选择类型时可以用一个简单判断:用户是在问“内容里有没有这些词”,还是在问“值是否等于这个标签”。前者优先 text,后者优先 keyword。