可观测性与稳定性 / 系统课时

全文搜索和精确匹配有何区别

全文搜索和精确匹配有何区别

搜索“connection timeout”和筛选“服务名等于 payment-api”看起来都在输入字符串,但两者解决的问题完全不同。全文搜索面向自然语言消息,会经过文本分析;精确匹配面向状态、服务名等结构化值,要求字段和值符合确定的过滤条件。

学习目标

  • 区分全文搜索与精确字段匹配的处理方式
  • 根据日志字段的语义选择 match 或 term 查询
  • 能在一次查询中组合错误消息搜索与结构化过滤

两种查询解决不同问题

全文搜索适合 message、异常描述等文本字段。搜索引擎通常会先用字段配置的 analyzer 对查询文本和文档文本进行分析,再按照生成的词项查找相关文档,因此它关注的是文本中是否包含相关内容。

精确匹配适合服务名、日志级别、环境、状态码等结构化字段。此时通常希望判断“字段是不是这个确定值”,而不是判断两个字符串在语言上是否相似。

需求 常见字段 Elasticsearch 查询 核心特点
搜索错误描述 message match 会按照字段 analyzer 分析文本
限定服务 service term 按索引中的精确词项匹配
限定日志级别 level term 适合有限枚举值
限定状态码 status_code term 适合确定的数值或关键字

在一次查询中组合两种方式

真实排障往往既需要搜索错误内容,又需要限定服务和日志级别。下面以 Elasticsearch Query DSL 为例,假设 message 是 text 字段,而 service、level 是 keyword 字段:

text
POST /logs-*/_search
{
  "size": 20,
  "_source": ["@timestamp", "service", "level", "message"],
  "query": {
    "bool": {
      "must": [
        { "match": { "message": "connection timeout" } }
      ],
      "filter": [
        { "term": { "service": "payment-api" } },
        { "term": { "level": "ERROR" } }
      ]
    }
  }
}

预期结果

json
{
  "hits": {
    "hits": [
      {
        "_source": {
          "service": "payment-api",
          "level": "ERROR",
          "message": "<message matching connection timeout>"
        }
      }
    ]
  }
}

实际消息和命中数量取决于日志数据。返回的文档必须同时满足 service=payment-api、level=ERROR,并且 message 的全文检索能够匹配 connection timeout。

这个查询中,match 放在 must 中承担文本检索;两个 term 放在 filter 中负责精确缩小范围。这样既保留全文搜索能力,又不会把服务名和日志级别误当成自然语言处理。

为什么不能随意互换

match 会根据字段的 analyzer 处理输入。例如一个英文文本字段可能把句子拆分成多个词项,所以搜索完整短语并不等于要求原始字符串逐字相等。这正是它适合日志消息的原因。

term 不会对查询值做全文分析,而是直接查找索引中的词项。因此它很适合 keyword、数字、布尔值等需要确定匹配的字段,但直接拿它查询经过分析的 text 字段,常常会得到与直觉不同甚至为空的结果。

反过来,把服务名这类标识符交给全文查询也不理想。即使当前 analyzer 恰好能命中,也会把一个本应明确的过滤条件变成依赖文本分析规则的查询,增加映射变化后的不确定性。

先看字段类型再决定查询

查询方式不应只根据字段名称决定,而应结合 mapping。message 通常适合作为 text;服务名、环境和日志级别通常更适合作为 keyword。有些字段会同时拥有 text 主字段和 keyword 子字段,这时全文搜索主字段,精确过滤对应的 keyword 字段。

因此,遇到“明明看得到这个值却搜索不到”的情况,不要立刻不断更换关键字。先确认字段是 text、keyword 还是数值类型,再检查当前查询是否符合它的索引方式。把全文搜索留给需要理解文本内容的字段,把精确匹配留给明确的结构化值,日志查询才会稳定且可预测。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

全文搜索和精确匹配有何区别

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通