可观测性与稳定性 / 系统课时
规划日志平台组件和数据流
规划日志平台组件和数据流
这一练习先不急着部署服务,而是把应用、Fluent Bit、搜索集群和 Dashboard 的职责、数据方向与网络边界画清楚。最终要得到一份可以直接指导后续部署的最小拓扑:日志只沿采集链路向前流动,查询链路与写入链路分开考虑。
学习目标
- 说清应用、采集器、搜索集群和 Dashboard 各自承担什么职责
- 规划日志写入、检索查询和用户访问三类网络流量
- 用最小拓扑验证组件之间是否存在不必要的直连关系
先确定四个组件的职责
应用只负责产生日志,优先写标准输出或本地文件,不直接承担重试、批量发送和搜索集群认证。Fluent Bit 靠近应用运行,持续读取新增记录,完成解析、补充字段、缓冲和转发。
搜索集群接收结构化日志并建立索引,负责持久化与检索。Dashboard 不接收应用日志,它通过搜索集群的查询接口读取数据,再向浏览器提供检索和可视化页面。

把数据流和查询流分开
最小链路可以写成:应用日志 → Fluent Bit → 搜索集群,这是写入路径;浏览器 → Dashboard → 搜索集群,这是查询路径。这样排障时能快速判断问题属于“日志没进去”还是“日志已经存在但查不到”。
建议至少区分三类通信:
- 应用到 Fluent Bit:同主机文件读取或容器 stdout 读取,通常不需要开放远程端口。
- Fluent Bit 到搜索集群:采集器主动发起出站连接,只允许访问索引写入端点。
- Dashboard 到搜索集群:由 Dashboard 发起查询连接;浏览器只访问 Dashboard 暴露的 Web 入口。
记录一份可执行的网络约束
下面用 Docker 网络模拟“采集侧”和“查询侧”两个逻辑网络。搜索服务后续可以同时加入两个网络,而采集器和 Dashboard 不必彼此直连。
bash
docker network create logs-ingest >/dev/null
docker network create logs-query >/dev/null
docker network inspect logs-ingest --format '{{.Name}}'
docker network inspect logs-query --format '{{.Name}}'预期输出:
text
logs-ingest
logs-query这一步只创建网络,不代表搜索集群已经部署。真正编排服务时,应让 Fluent Bit 与 Search Cluster 进入 logs-ingest,让 Dashboard 与 Search Cluster 进入 logs-query;应用若通过共享日志文件或容器日志被采集,可以不加入任何日志后端网络。
用一张流量表做上线前检查
| 来源 | 目标 | 目的 | 是否应长期开放 |
|---|---|---|---|
| Application | Fluent Bit | 本地日志读取或 stdout 采集 | 本机或同节点 |
| Fluent Bit | Search Cluster | 批量写入日志 | 是,单向最小授权 |
| Dashboard | Search Cluster | 查询与聚合 | 是,仅查询所需权限 |
| Browser | Dashboard | 检索和可视化 | 是,通过受控 Web 入口 |
| Application | Search Cluster | 无 | 否 |
| Browser | Search Cluster | 无 | 通常否 |
如果拓扑要求浏览器直接访问搜索集群,或每个应用都持有搜索集群凭据,说明边界已经过宽。综合练习后续接入具体日志源时,应保持这套职责和流向不变,只替换日志格式、解析规则与索引名称。
按自己的节奏,确认真正理解。