可观测性与稳定性 / 系统课时
全文搜索和精确匹配有何区别
全文搜索和精确匹配有何区别
搜索“connection timeout”和筛选“服务名等于 payment-api”看起来都在输入字符串,但两者解决的问题完全不同。全文搜索面向自然语言消息,会经过文本分析;精确匹配面向状态、服务名等结构化值,要求字段和值符合确定的过滤条件。
学习目标
- 区分全文搜索与精确字段匹配的处理方式
- 根据日志字段的语义选择
match或term查询 - 能在一次查询中组合错误消息搜索与结构化过滤
两种查询解决不同问题
全文搜索适合 message、异常描述等文本字段。搜索引擎通常会先用字段配置的 analyzer 对查询文本和文档文本进行分析,再按照生成的词项查找相关文档,因此它关注的是文本中是否包含相关内容。
精确匹配适合服务名、日志级别、环境、状态码等结构化字段。此时通常希望判断“字段是不是这个确定值”,而不是判断两个字符串在语言上是否相似。
| 需求 | 常见字段 | Elasticsearch 查询 | 核心特点 |
|---|---|---|---|
| 搜索错误描述 | message |
match |
会按照字段 analyzer 分析文本 |
| 限定服务 | service |
term |
按索引中的精确词项匹配 |
| 限定日志级别 | level |
term |
适合有限枚举值 |
| 限定状态码 | status_code |
term |
适合确定的数值或关键字 |
在一次查询中组合两种方式
真实排障往往既需要搜索错误内容,又需要限定服务和日志级别。下面以 Elasticsearch Query DSL 为例,假设 message 是 text 字段,而 service、level 是 keyword 字段:
POST /logs-*/_search
{
"size": 20,
"_source": ["@timestamp", "service", "level", "message"],
"query": {
"bool": {
"must": [
{ "match": { "message": "connection timeout" } }
],
"filter": [
{ "term": { "service": "payment-api" } },
{ "term": { "level": "ERROR" } }
]
}
}
}预期结果
{
"hits": {
"hits": [
{
"_source": {
"service": "payment-api",
"level": "ERROR",
"message": "<message matching connection timeout>"
}
}
]
}
}实际消息和命中数量取决于日志数据。返回的文档必须同时满足 service=payment-api、level=ERROR,并且 message 的全文检索能够匹配 connection timeout。
这个查询中,match 放在 must 中承担文本检索;两个 term 放在 filter 中负责精确缩小范围。这样既保留全文搜索能力,又不会把服务名和日志级别误当成自然语言处理。
为什么不能随意互换
match 会根据字段的 analyzer 处理输入。例如一个英文文本字段可能把句子拆分成多个词项,所以搜索完整短语并不等于要求原始字符串逐字相等。这正是它适合日志消息的原因。
term 不会对查询值做全文分析,而是直接查找索引中的词项。因此它很适合 keyword、数字、布尔值等需要确定匹配的字段,但直接拿它查询经过分析的 text 字段,常常会得到与直觉不同甚至为空的结果。
反过来,把服务名这类标识符交给全文查询也不理想。即使当前 analyzer 恰好能命中,也会把一个本应明确的过滤条件变成依赖文本分析规则的查询,增加映射变化后的不确定性。
先看字段类型再决定查询
查询方式不应只根据字段名称决定,而应结合 mapping。message 通常适合作为 text;服务名、环境和日志级别通常更适合作为 keyword。有些字段会同时拥有 text 主字段和 keyword 子字段,这时全文搜索主字段,精确过滤对应的 keyword 字段。
因此,遇到“明明看得到这个值却搜索不到”的情况,不要立刻不断更换关键字。先确认字段是 text、keyword 还是数值类型,再检查当前查询是否符合它的索引方式。把全文搜索留给需要理解文本内容的字段,把精确匹配留给明确的结构化值,日志查询才会稳定且可预测。