可观测性与稳定性 / 系统课时

规划日志平台组件和数据流

规划日志平台组件和数据流

这一练习先不急着部署服务,而是把应用、Fluent Bit、搜索集群和 Dashboard 的职责、数据方向与网络边界画清楚。最终要得到一份可以直接指导后续部署的最小拓扑:日志只沿采集链路向前流动,查询链路与写入链路分开考虑。

学习目标

  • 说清应用、采集器、搜索集群和 Dashboard 各自承担什么职责
  • 规划日志写入、检索查询和用户访问三类网络流量
  • 用最小拓扑验证组件之间是否存在不必要的直连关系

先确定四个组件的职责

应用只负责产生日志,优先写标准输出或本地文件,不直接承担重试、批量发送和搜索集群认证。Fluent Bit 靠近应用运行,持续读取新增记录,完成解析、补充字段、缓冲和转发。

搜索集群接收结构化日志并建立索引,负责持久化与检索。Dashboard 不接收应用日志,它通过搜索集群的查询接口读取数据,再向浏览器提供检索和可视化页面。

集中日志平台组件、数据流与网络边界

把数据流和查询流分开

最小链路可以写成:应用日志 → Fluent Bit → 搜索集群,这是写入路径;浏览器 → Dashboard → 搜索集群,这是查询路径。这样排障时能快速判断问题属于“日志没进去”还是“日志已经存在但查不到”。

建议至少区分三类通信:

  • 应用到 Fluent Bit:同主机文件读取或容器 stdout 读取,通常不需要开放远程端口。
  • Fluent Bit 到搜索集群:采集器主动发起出站连接,只允许访问索引写入端点。
  • Dashboard 到搜索集群:由 Dashboard 发起查询连接;浏览器只访问 Dashboard 暴露的 Web 入口。

记录一份可执行的网络约束

下面用 Docker 网络模拟“采集侧”和“查询侧”两个逻辑网络。搜索服务后续可以同时加入两个网络,而采集器和 Dashboard 不必彼此直连。

bash
docker network create logs-ingest >/dev/null
docker network create logs-query >/dev/null
docker network inspect logs-ingest --format '{{.Name}}'
docker network inspect logs-query --format '{{.Name}}'

预期输出:

text
logs-ingest
logs-query

这一步只创建网络,不代表搜索集群已经部署。真正编排服务时,应让 Fluent Bit 与 Search Cluster 进入 logs-ingest,让 Dashboard 与 Search Cluster 进入 logs-query;应用若通过共享日志文件或容器日志被采集,可以不加入任何日志后端网络。

用一张流量表做上线前检查

来源 目标 目的 是否应长期开放
Application Fluent Bit 本地日志读取或 stdout 采集 本机或同节点
Fluent Bit Search Cluster 批量写入日志 是,单向最小授权
Dashboard Search Cluster 查询与聚合 是,仅查询所需权限
Browser Dashboard 检索和可视化 是,通过受控 Web 入口
Application Search Cluster 无 否
Browser Search Cluster 无 通常否

如果拓扑要求浏览器直接访问搜索集群,或每个应用都持有搜索集群凭据,说明边界已经过宽。综合练习后续接入具体日志源时,应保持这套职责和流向不变,只替换日志格式、解析规则与索引名称。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

规划日志平台组件和数据流

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通