可观测性与稳定性 / 系统课时
bool 怎样组合复杂查询条件
bool 怎样组合复杂查询条件
排查线上故障时,很少只需要一个关键字。更常见的要求是:限定某个服务和时间范围,必须出现故障特征,同时排除健康检查、调试日志等噪声。bool 查询就是把这些条件组合成一条可维护 Query DSL 的核心工具。
学习目标
- 理解
must、filter、should与must_not的职责差异 - 将服务、时间、关键字和排除条件组合成完整故障查询
- 避免因
should默认行为或字段类型选择错误造成查询偏差
bool 解决的是条件组合问题
bool 本身并不负责匹配具体内容,而是把多个查询子句按照布尔逻辑组合起来。日志检索中最常用的是 filter、must 和 must_not。
| 子句 | 含义 | 是否参与相关性评分 | 日志查询中的典型用途 |
|---|---|---|---|
filter |
必须满足 | 否 | 服务名、环境、时间范围、状态码 |
must |
必须满足 | 是 | 全文关键字、短语匹配 |
must_not |
必须不满足 | 否 | 排除健康检查、机器人流量、已知噪声 |
should |
优先匹配或满足若干条件 | 是 | 多种错误特征任选其一 |
日志排障通常更关心“是否满足条件”,而不是搜索结果之间的相关性排名,因此精确字段和时间范围优先放进 filter。需要分析 message 等全文字段时,再使用 must 中的 match 或 match_phrase。
组合一条故障查询
假设需要调查最近 30 分钟 payment-api 的连接超时,并排除 DEBUG 日志和健康检查消息。可以直接在 Elasticsearch Dev Tools 或兼容 REST 客户端中执行以下请求。
POST logs-*/_search
{
"size": 50,
"sort": [
{
"@timestamp": {
"order": "desc"
}
}
],
"query": {
"bool": {
"filter": [
{
"term": {
"service.name": "payment-api"
}
},
{
"range": {
"@timestamp": {
"gte": "now-30m",
"lte": "now"
}
}
}
],
"must": [
{
"match_phrase": {
"message": "connection timeout"
}
}
],
"must_not": [
{
"term": {
"log.level": "DEBUG"
}
},
{
"match_phrase": {
"message": "health check"
}
}
]
}
}
}预期结果
HTTP 200
返回的 hits.hits 只包含同时满足以下条件的日志:
service.name 为 payment-api
@timestamp 位于最近 30 分钟
message 包含短语 connection timeout
log.level 不是 DEBUG
message 不包含短语 health check
结果按 @timestamp 从新到旧排列,最多返回 50 条now-30m 和实际命中的文档数量会随执行时间和日志数据变化。查询中使用 term 的字段应当具有适合精确匹配的映射;如果某个字段被映射为经过分词的 text,通常应查询它对应的 keyword 子字段,具体名称以索引映射为准。
should 最容易产生条件误解
should 适合表达“多个特征任选其一”。例如某次故障可能表现为 connection timeout、connection refused 或 upstream unavailable,可以把这些条件放入 should,并使用 minimum_should_match 明确至少命中几个。
{
"bool": {
"should": [
{ "match_phrase": { "message": "connection timeout" } },
{ "match_phrase": { "message": "connection refused" } },
{ "match_phrase": { "message": "upstream unavailable" } }
],
"minimum_should_match": 1
}
}这是片段示例,需要放在 _search 请求的 query 中使用。生效后,一条文档只要至少满足三个故障特征中的一个,就能通过该 bool 条件。
显式写出 minimum_should_match 可以减少维护时的歧义。尤其当同一个 bool 中又加入 must 或 filter 后,不应依赖默认值猜测 should 是否为必选条件。
复杂查询应按故障问题拆条件
组合查询时,可以先把自然语言问题拆成四类:查询对象放入 filter,时间窗口放入 filter,故障特征放入 must 或 should,明确的噪声放入 must_not。这样新增环境、实例、状态码等限制时,只需增加对应子句,而不必重写整条查询。
当结果异常地过多或过少时,也可以按这四类逐组移除条件进行验证。bool 的价值不仅是表达复杂逻辑,更在于让一条线上故障查询能够被逐层解释、修改和排查。