可观测性与稳定性 / 系统课时
选择 Agent、Gateway 与分层拓扑
选择 Agent、Gateway 与分层拓扑
Collector 放在应用旁边、集中部署,还是拆成多层,决定了遥测数据的故障域、扩展方式、路由能力与网络跳数。本课用同一组判断标准比较三种拓扑,并给出一套可落地的 Agent→Gateway 配置。
学习目标
- 区分 Agent、Gateway 与分层 Collector 的职责和故障域。
- 根据扩展、集中治理、路由与网络成本选择拓扑。
- 配置并验证一个最小的 Agent→Gateway traces 管道。
先用故障域与控制能力做选择
Agent 与工作负载同机或同 Pod 运行,常见形态是主机进程、Sidecar 或 Kubernetes DaemonSet。它把接收和初步处理放在数据源附近:单个 Agent 故障通常只影响局部工作负载,但实例数量会随节点或应用规模增长,统一升级和跨服务策略会更分散。
Gateway 是独立的 Collector 服务,应用或上游 Collector 都把 OTLP 发到一个逻辑入口。它适合集中持有后端凭据、统一过滤与批处理、按租户或后端路由;代价是增加共享故障域和网络跳数,因此通常要多副本部署并置于负载均衡之后。
| 拓扑 | 故障域 | 扩展方式 | 集中路由与策略 | 网络成本 |
|---|---|---|---|---|
| Agent | 接近单机或单工作负载 | 随节点或工作负载扩展 | 较弱,配置分散 | 本地接入低,但到后端连接多 |
| Gateway | 共享入口,需高可用 | 独立横向扩展 | 强,适合集中治理 | 应用到 Gateway 多一次远程传输 |
| Agent→Gateway | 局部采集与集中层分离 | 两层分别扩展 | 强,且保留本地采集能力 | 多一跳,资源与运维成本最高 |

分层拓扑把本地采集与集中治理拆开
分层并不是“层数越多越可靠”,而是把不同职责放到不同故障域。Agent 适合收集主机日志、容器日志和本机指标,也能在本地限流、批处理后再转发;Gateway 适合统一认证、后端凭据、跨服务过滤、采样和多后端路由。这样扩容应用时不必同步扩大集中策略组件,扩容 Gateway 时也不需要改每个 SDK 的后端地址。
追踪数据还要注意“同一 Trace 必须在需要全局视图的处理器处汇合”。例如使用 tail sampling 时,不能让同一个 Trace 的 Span 随机落到多个采样实例;常见做法是在上游使用按 traceID 感知的负载分配,再把完整 Trace 送到负责 tail sampling 的下游 Collector。
用主配置明确两层职责
下面的主示例只处理 traces。Agent 负责接收应用 OTLP、限制自身内存并批量转发;Gateway 负责接收所有 Agent 的数据,再统一发送到追踪后端。示例中的内部域名需替换为你的实际服务地址,测试环境使用明文 OTLP,生产环境应配置 TLS 或 mTLS。
agent.yaml:
receivers:
otlp:
protocols:
grpc:
endpoint: 0.0.0.0:4317
processors:
memory_limiter:
check_interval: 1s
limit_mib: 256
batch: {}
exporters:
otlp/gateway:
endpoint: otel-gateway.observability.svc.cluster.local:4317
tls:
insecure: true
service:
pipelines:
traces:
receivers: [otlp]
processors: [memory_limiter, batch]
exporters: [otlp/gateway]这份配置让应用只感知本地 Agent;后端地址和集中策略不会下沉到每个应用。若 Agent 与应用不在同一网络命名空间,不要照搬 0.0.0.0,应按实际访问边界收紧监听地址和防火墙规则。
gateway.yaml:
receivers:
otlp:
protocols:
grpc:
endpoint: 0.0.0.0:4317
processors:
memory_limiter:
check_interval: 1s
limit_mib: 1024
batch: {}
exporters:
otlp/backend:
endpoint: trace-backend.observability.svc.cluster.local:4317
tls:
insecure: true
service:
pipelines:
traces:
receivers: [otlp]
processors: [memory_limiter, batch]
exporters: [otlp/backend]Gateway 可以独立增加副本、调整队列和批处理参数,或在这一层加入路由、过滤、采样等集中策略。不要在 Agent 与 Gateway 重复做需要全局视图的处理,否则既增加 CPU 消耗,也可能改变策略语义。
保存两个文件后,用 Collector 自带的配置校验命令先检查结构:
otelcol validate --config=agent.yaml &&
otelcol validate --config=gateway.yaml &&
printf 'collector configs valid\n'预期结果:两次校验都以退出码 0 结束,最后一行至少包含:
collector configs valid不同 Collector 发行版可能会额外打印校验信息,但只要两次 validate 都成功,printf 才会执行。
用业务约束而不是规模标签做决定
如果应用数量少、没有主机级采集,也不需要集中采样或多后端路由,单层 Gateway 往往最省运维;如果必须在本机读取日志文件、主机指标或希望把局部故障限制在节点内,优先加入 Agent;当本地采集和集中治理同时成立时,再采用 Agent→Gateway。
跨集群、跨机房或跨区域时,还要把网络边界纳入设计:尽量让 Agent 先把数据送到就近 Gateway,再由 Gateway 负责跨网络出口和后端凭据。最终拓扑应该让“局部采集、集中策略、全局路由”各有明确归属,而不是简单堆叠 Collector 层数。