可观测性与稳定性 / 系统课时

ELK 日志链路各组件怎么分工

ELK 日志链路各组件怎么分工

搭建日志平台前,先要明确谁负责采集、处理、存储和查询。组件职责一旦混淆,后续很容易出现重复采集、Logstash 过载或 Elasticsearch 承担不该承担的处理逻辑。本节用一条完整数据链路建立组件边界。

学习目标

  • 说清 Elasticsearch、Logstash、Kibana 与 Beats 的核心职责
  • 理解一条日志从业务主机进入检索界面的数据流向
  • 根据日志规模判断哪些组件可以省略或替换

一条日志经过哪些组件

典型链路可以概括为:业务程序写日志,Beats 在主机侧读取并发送,Logstash 解析和转换,Elasticsearch 建立索引并保存,Kibana 再通过 Elasticsearch 查询数据并展示。

ELK 日志从业务主机到查询界面的数据流

这里最重要的边界是:Kibana 不是日志存储,Logstash 也不是数据库。最终可检索的数据位于 Elasticsearch 中,而 Kibana 是面向这些数据的查询、分析和可视化入口。

四类组件分别负责什么

Beats 是部署在数据源附近的轻量采集器。日志场景最常见的是 Filebeat,它负责跟踪日志文件、读取新增内容并发送到下游。它适合放在大量业务主机上,而不是承担复杂的数据加工。

Logstash 负责数据处理流水线。它通过 input、filter、output 接收事件、解析文本、增删字段并发送到目标系统。比如把一行 Nginx access log 拆成状态码、URI、响应时间等字段,便于后续聚合查询。

Elasticsearch 负责索引、存储和检索日志事件。写入的数据经过映射和索引后,可以按时间、关键字和结构化字段快速查询,也可以执行聚合统计。

Kibana 面向 Elasticsearch 提供搜索、Discover、仪表盘和可视化等能力。用户在 Kibana 中查询日志时,本质上仍是向 Elasticsearch 发起查询。

用最小请求验证存储与查询

如果实验环境已经启动 Elasticsearch,可以直接写入一条测试文档,再查询它,从而验证 Elasticsearch 在链路中的存储和检索职责。以下假设服务监听 <PORT>,实际端口按环境替换。

bash
curl -X POST "http://localhost:<PORT>/app-logs/_doc?refresh=true" -H "Content-Type: application/json" -d '{"level":"INFO","service":"order-api","message":"order created"}'
curl "http://localhost:<PORT>/app-logs/_search?q=service:order-api&filter_path=hits.total"

预期输出:第二条命令会返回匹配数量;不同 Elasticsearch 版本的 hits.total 表示形式可能不同。

json
{"hits":{"total":{"value":1,"relation":"eq"}}}

这个实验没有经过 Beats 和 Logstash,说明 Elasticsearch 可以直接接收结构化文档。生产日志链路加入采集与处理组件,是为了把分散日志可靠地送达并在写入前完成必要加工,而不是因为 Elasticsearch 必须依赖它们才能工作。

什么时候可以缩短链路

ELK 并不意味着四类组件必须同时存在。如果应用已经输出结构化 JSON,Filebeat 能够完成所需采集和简单处理,就可以采用 Filebeat -> Elasticsearch -> Kibana,减少一个中间层。

当日志需要复杂正则解析、字段转换、条件路由或汇聚多个输入源时,再引入 Logstash 更合理。规模进一步扩大后,还可能在采集端和处理端之间增加消息队列,用于削峰和缓冲;这属于链路扩展,而不是四个核心组件职责的改变。

判断组件是否需要保留时,可以沿着“采集、处理、存储检索、查询展示”四个职责逐项检查。只要每项职责都有明确承担者,并且数据流向清晰,就不必为了名称上的“ELK”强行部署全部组件。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

ELK 日志链路各组件怎么分工

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通