可观测性与稳定性 / 系统课时
怎样只查询某个服务的日志
怎样只查询某个服务的日志
集中日志里常常混有几十个服务、多个环境和多台主机的数据。定位单个应用时,不应先搜索错误关键字,而应利用服务、环境和主机等结构化字段缩小范围,再在这个范围内分析日志内容,这样结果更准确,也更容易复现查询条件。
学习目标
- 使用服务、环境和主机字段限定日志查询范围
- 理解为什么结构化字段适合使用精确过滤
- 能判断查询不到日志时应该检查哪些字段条件
先用结构化字段确定范围
一条适合集中检索的日志通常不仅有 message,还会带上描述来源的结构化字段。例如服务名可以记录在 service,运行环境记录在 environment,节点名称记录在 host。字段名称由实际日志规范决定,查询前应先确认平台中的真实映射。
这些字段解决的是“日志来自哪里”,而不是“日志写了什么”。因此排查 checkout-api 的生产日志时,应先限定 service=checkout-api 和 environment=prod,需要定位具体实例时再加入 host。
| 字段 | 典型值 | 适合解决的问题 |
|---|---|---|
service |
checkout-api |
只看目标应用 |
environment |
prod |
排除测试、预发布环境 |
host |
node-03 |
定位单台主机或实例 |
用精确过滤查询目标服务
下面以 Elasticsearch Query DSL 为例。示例假设索引为 logs-*,并且 service、environment 已映射为可精确匹配的 keyword 字段。在 Kibana Dev Tools 中可以直接执行:
POST /logs-*/_search
{
"size": 20,
"_source": ["@timestamp", "service", "environment", "host", "message"],
"query": {
"bool": {
"filter": [
{ "term": { "service": "checkout-api" } },
{ "term": { "environment": "prod" } }
]
}
}
}预期结果
{
"hits": {
"hits": [
{
"_source": {
"service": "checkout-api",
"environment": "prod",
"host": "<HOST>",
"message": "<matching log message>"
}
}
]
}
}实际的主机名、日志内容和命中数量会不同。如果没有符合条件的日志,hits.hits 会是空数组,而不会自动放宽过滤条件。
这里使用 bool.filter 而不是把服务名当全文关键字搜索,是因为服务和环境通常是离散标识。过滤条件只判断文档是否满足条件,不需要计算全文相关度分数,更符合这类字段的语义。
需要时再加入主机条件
当同一个服务部署在多台主机上时,只限定服务和环境仍可能得到大量日志。已知异常来自某个实例后,可以在同一个 filter 数组中再增加 host 的 term 条件。多个过滤条件同时存在时,文档必须全部满足才能进入结果集。
排查时通常按照“环境 → 服务 → 主机”的顺序逐渐收窄。不要一开始就堆上所有条件,否则其中任何一个字段值写错,都可能直接得到零条结果,也不容易判断是哪项条件造成的。
查询为空时检查字段和取值
服务明明在运行但查询结果为空,首先应检查日志文档是否真的存在这些结构化字段,以及字段值是否与查询完全一致。checkout-api、Checkout-API 和 checkout_api 对精确匹配来说可能是不同的值。
还要检查字段映射。如果某字段被映射成经过分析的 text,通常不应直接用它承载标识符过滤;很多索引会同时提供对应的 keyword 子字段,例如 service.keyword。具体字段名不能凭习惯猜测,应以当前索引的 mapping 为准。
确定服务、环境和主机范围后,再对这个较小的数据集搜索异常消息、请求 ID 或错误码,通常比直接在全量日志中搜索一个模糊关键字更快,也更容易得到可解释的结果。