可观测性与稳定性 / 系统课时

怎样只查询某个服务的日志

怎样只查询某个服务的日志

集中日志里常常混有几十个服务、多个环境和多台主机的数据。定位单个应用时,不应先搜索错误关键字,而应利用服务、环境和主机等结构化字段缩小范围,再在这个范围内分析日志内容,这样结果更准确,也更容易复现查询条件。

学习目标

  • 使用服务、环境和主机字段限定日志查询范围
  • 理解为什么结构化字段适合使用精确过滤
  • 能判断查询不到日志时应该检查哪些字段条件

先用结构化字段确定范围

一条适合集中检索的日志通常不仅有 message,还会带上描述来源的结构化字段。例如服务名可以记录在 service,运行环境记录在 environment,节点名称记录在 host。字段名称由实际日志规范决定,查询前应先确认平台中的真实映射。

这些字段解决的是“日志来自哪里”,而不是“日志写了什么”。因此排查 checkout-api 的生产日志时,应先限定 service=checkout-api 和 environment=prod,需要定位具体实例时再加入 host。

字段 典型值 适合解决的问题
service checkout-api 只看目标应用
environment prod 排除测试、预发布环境
host node-03 定位单台主机或实例

用精确过滤查询目标服务

下面以 Elasticsearch Query DSL 为例。示例假设索引为 logs-*,并且 service、environment 已映射为可精确匹配的 keyword 字段。在 Kibana Dev Tools 中可以直接执行:

text
POST /logs-*/_search
{
  "size": 20,
  "_source": ["@timestamp", "service", "environment", "host", "message"],
  "query": {
    "bool": {
      "filter": [
        { "term": { "service": "checkout-api" } },
        { "term": { "environment": "prod" } }
      ]
    }
  }
}

预期结果

json
{
  "hits": {
    "hits": [
      {
        "_source": {
          "service": "checkout-api",
          "environment": "prod",
          "host": "<HOST>",
          "message": "<matching log message>"
        }
      }
    ]
  }
}

实际的主机名、日志内容和命中数量会不同。如果没有符合条件的日志,hits.hits 会是空数组,而不会自动放宽过滤条件。

这里使用 bool.filter 而不是把服务名当全文关键字搜索,是因为服务和环境通常是离散标识。过滤条件只判断文档是否满足条件,不需要计算全文相关度分数,更符合这类字段的语义。

需要时再加入主机条件

当同一个服务部署在多台主机上时,只限定服务和环境仍可能得到大量日志。已知异常来自某个实例后,可以在同一个 filter 数组中再增加 host 的 term 条件。多个过滤条件同时存在时,文档必须全部满足才能进入结果集。

排查时通常按照“环境 → 服务 → 主机”的顺序逐渐收窄。不要一开始就堆上所有条件,否则其中任何一个字段值写错,都可能直接得到零条结果,也不容易判断是哪项条件造成的。

查询为空时检查字段和取值

服务明明在运行但查询结果为空,首先应检查日志文档是否真的存在这些结构化字段,以及字段值是否与查询完全一致。checkout-api、Checkout-API 和 checkout_api 对精确匹配来说可能是不同的值。

还要检查字段映射。如果某字段被映射成经过分析的 text,通常不应直接用它承载标识符过滤;很多索引会同时提供对应的 keyword 子字段,例如 service.keyword。具体字段名不能凭习惯猜测,应以当前索引的 mapping 为准。

确定服务、环境和主机范围后,再对这个较小的数据集搜索异常消息、请求 ID 或错误码,通常比直接在全量日志中搜索一个模糊关键字更快,也更容易得到可解释的结果。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

怎样只查询某个服务的日志

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通