可观测性与稳定性 / 系统课时
集中日志链路由哪些部分组成
集中日志链路由哪些部分组成
集中日志并不是“把文件复制到一台机器”这么简单。一个可用链路至少要完成日志产生、采集、处理、索引存储和查询展示五个环节。本课建立这五部分的数据流关系,并通过一次最小检索验证理解每个组件真正承担的职责。
学习目标
- 说清应用日志、采集 Agent、处理管道、搜索引擎和 Dashboard 的职责边界
- 理解一条日志从产生到可检索之间发生的数据转换
- 能用最小查询验证日志已经进入搜索引擎
从一条日志看完整链路
应用首先把事件写到标准输出、日志文件或其他日志接口;采集 Agent 在靠近日志源的位置持续读取新事件,并补充主机、容器、服务等来源信息;处理管道负责解析、清洗、过滤和路由;搜索引擎把事件写入适合检索的索引;Dashboard 最后发起查询并把结果展示成日志列表、趋势图或统计面板。

这五部分可以由不同产品实现,也可以有组件合并。例如某些 Agent 自带解析和过滤能力,因此“采集”和“处理”可能部署在同一进程中。判断架构时不要只看产品名称,而要确认五项职责是否都有明确承担者。
采集 Agent 解决日志在哪里
Agent 的核心任务是持续发现并读取日志,而不是等待运维人员登录服务器。它通常运行在每台主机、每个节点或日志源附近,记录已经读到的位置,并把新事件发送到后续链路。
在容器环境里,Agent 还需要把容器 ID、Pod、命名空间或服务名等上下文附加到事件上。没有这些来源元数据,日志即使集中到一个地方,也可能无法回答“这条错误来自哪个实例”。
处理管道把原始文本变成可查询字段
原始日志经常只是字符串,例如时间、级别、服务名和消息混在一行。处理管道会把它解析为结构化字段,并进行时间标准化、字段重命名、敏感信息脱敏、无用事件过滤或目标索引路由。
这里最重要的设计原则是:尽量在进入搜索存储之前形成稳定字段。如果同一个含义在不同服务中分别叫 severity、logLevel 和 level,后续查询和 Dashboard 都会变得复杂。
搜索引擎负责存储与检索
搜索引擎接收结构化事件,为字段建立可检索的数据结构,并根据时间和保留策略保存日志。Dashboard 本身通常不保存日志,它只是把查询请求发送给搜索引擎,再把返回结果可视化。
下面给出一个最小 Elasticsearch 验证示例。它假设你已经有一个用于实验、无需额外认证的 Elasticsearch HTTP 端点;把 <HOST> 和 <PORT> 替换为实际地址。示例创建临时索引、写入一条结构化日志,再检索该条日志。
index="app-logs-demo-$$"
curl -sS -X PUT "http://<HOST>:<PORT>/$index" \
-H 'Content-Type: application/json' \
-d '{"mappings":{"properties":{"@timestamp":{"type":"date"},"service":{"type":"keyword"},"level":{"type":"keyword"},"message":{"type":"text"}}}}' >/dev/null
curl -sS -X POST "http://<HOST>:<PORT>/$index/_doc?refresh=wait_for" \
-H 'Content-Type: application/json' \
-d '{"@timestamp":"2026-09-17T10:00:00Z","service":"order","level":"ERROR","message":"payment timeout"}' >/dev/null
curl -sS "http://<HOST>:<PORT>/$index/_search?filter_path=hits.hits._source" \
-H 'Content-Type: application/json'预期结果
查询结果中至少包含 1 条 _source;其中 service 为 order,level 为 ERROR,message 为 payment timeout。JSON 的空格、字段顺序等表现形式可能因版本不同而不同。这一步验证的是“搜索引擎已经能存并查”,不是完整采集链路。真实平台还需要确认 Agent 能持续发送、处理管道能正确解析,以及 Dashboard 查询条件与索引字段一致。
Dashboard 把查询变成可操作视图
Dashboard 适合把重复查询固定下来,例如“最近 15 分钟各服务的 ERROR 数量”“某个 trace_id 的完整日志序列”或“支付超时按实例分布”。它提升的是检索和观察效率,而不是替代底层存储。
因此,排查 Dashboard 没数据时也应按链路逆向定位:先确认查询范围与字段,再检查搜索引擎是否已有文档,然后检查处理管道是否丢弃事件,最后回到 Agent 和应用日志源。把五个环节的职责分开后,集中日志平台就不再是一团产品名,而是一条可以逐段验证的数据链路。