可观测性与稳定性 / 系统课时

规划监控平台组件和主机

规划监控平台组件和主机

搭建监控平台前,先把组件放在哪里、谁主动连接谁、哪些端口必须互通确定下来。完成这一步后,你应该能画出 Prometheus、Grafana、Alertmanager 与被监控服务器之间的关系,并据此检查 DNS、防火墙和主机资源是否满足部署要求。

学习目标

  • 规划 Prometheus、Grafana、Alertmanager 与被监控主机的部署位置
  • 判断指标采集、查询和告警链路中的连接方向
  • 在部署前验证主机名解析与关键网络路径

先确定每个组件的职责

服务器监控最小闭环通常由 Prometheus、Grafana、Alertmanager 和被监控主机上的 Node Exporter 组成。不要把它们理解成一条所有组件依次转发数据的流水线,它们之间实际上存在三条不同链路。

Prometheus 主动访问各服务器的 Node Exporter HTTP 接口并抓取指标;Grafana 主动查询 Prometheus;Prometheus 在告警规则触发后把告警事件发送给 Alertmanager。Alertmanager 负责分组、抑制、静默和通知路由,而不是保存服务器指标。

Prometheus、Grafana、Alertmanager 与被监控主机的部署和通信关系

一个适合练习环境的规划如下:

主机 部署内容 默认端口 主要访问关系
monitoring.internal Prometheus 9090 访问各 Node Exporter
monitoring.internal Grafana 3000 查询 Prometheus
monitoring.internal Alertmanager 9093 接收 Prometheus 告警
app-01.internal Node Exporter 9100 接受 Prometheus 抓取
app-02.internal Node Exporter 9100 接受 Prometheus 抓取

练习环境可以让三个中心组件共用一台监控主机。生产环境是否拆分,应根据可用性、数据规模和维护边界决定,而不是为了形式上做到“一组件一主机”。

按通信方向规划网络

监控网络最常见的错误,是只确认端口已经监听,却没有确认真正发起连接的一端能够访问目标地址。例如 Node Exporter 即使正常监听 9100,Prometheus 所在主机无法路由到该端口,目标依然会显示为不可用。

需要重点保证以下路径:

  • Prometheus 主机能够访问每台被监控服务器的 9100/tcp。
  • Grafana 能够访问 Prometheus 的 9090/tcp。
  • Prometheus 能够访问 Alertmanager 的 9093/tcp。
  • 运维人员需要访问 Grafana 时,再根据实际入口开放 3000/tcp 或通过反向代理统一暴露。

在部署前验证名称解析

如果后续 Prometheus 配置准备使用主机名作为抓取目标,应先从监控主机检查这些名称能否解析。下面的命令可以一次验证规划中的几个节点:

bash
getent hosts monitoring.internal app-01.internal app-02.internal

预期输出

text
<IP> monitoring.internal
<IP> app-01.internal
<IP> app-02.internal

<IP> 会因实验环境而不同。如果某个名称没有输出,应先修复 DNS 或 /etc/hosts,不要急着写 Prometheus 配置。使用 IP 地址也可以完成实验,但稳定的主机名通常更便于后续迁移和维护。

给平台留出故障边界

规划时还要避免让监控系统与被监控业务形成不必要的共同故障点。例如只监控一台应用服务器时,把 Prometheus 也运行在这台服务器上,一旦服务器宕机,业务和监控会同时消失,你只能知道“什么都访问不了”,却失去了独立观察者。

因此,即使是小型平台,也建议让 Prometheus 至少运行在独立于主要业务节点的主机上。Grafana 和 Alertmanager可以与 Prometheus 共机起步,等指标规模、用户数量或可用性要求提高后再拆分。规划的目标不是追求复杂拓扑,而是保证采集、查询和告警三条链路都清楚、可访问,并且发生业务故障时仍有地方观察故障。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

规划监控平台组件和主机

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通