可观测性与稳定性 / 系统课时

使用 Connector 连接不同信号 Pipeline

使用 Connector 连接不同信号 Pipeline

Connector 用来把一个 Pipeline 的输出接到另一个 Pipeline 的输入,它既像上游 Pipeline 的 exporter,又像下游 Pipeline 的 receiver。本节用 Trace 计数生成 Metrics 的完整配置,说明跨信号转换发生在哪里,以及原始数据和派生数据应分别在哪一侧处理。

学习目标

  • 理解 Connector 同时承担 exporter 端与 receiver 端角色的连接模型
  • 配置 Trace 到 Metrics 的跨信号 Pipeline,并保留原始 Trace 输出
  • 判断过滤、聚合和派生数据处理应放在 Connector 的哪一侧

Connector 为什么不是普通 Exporter

Collector 的每条 Pipeline 只处理一种信号类型。普通 exporter 把数据送出 Collector,而 Connector 的 exporter 端接收源 Pipeline 数据,再由同名 Connector 的 receiver 端把数据交给目标 Pipeline;某些 Connector 会保持信号类型不变,另一些会在中间生成新的信号。

Connector 连接 Trace 与 Metrics Pipeline 的数据流

这意味着 Connector 必须同时出现在两条 Pipeline 中:在源 Pipeline 的 exporters 列表中使用它,在目标 Pipeline 的 receivers 列表中再次使用同一个组件名。能否连接 traces、metrics 或 logs,取决于具体 Connector 支持的信号组合,不能任意跨接。

用 count Connector 从 Trace 生成 Metrics

下面使用 count Connector 统计收到的 span 与 span event。Trace Pipeline 同时把原始 Trace 输出到 debug/traces,并把同一份流量交给 count;Connector 生成的 Metrics 再进入独立的 Metrics Pipeline。

yaml
receivers:
  otlp:
    protocols:
      grpc:
        endpoint: 0.0.0.0:4317

connectors:
  count:

exporters:
  debug/traces:
    verbosity: basic
  debug/metrics:
    verbosity: detailed

service:
  pipelines:
    traces:
      receivers: [otlp]
      exporters: [debug/traces, count]
    metrics/generated:
      receivers: [count]
      exporters: [debug/metrics]

使用默认配置时,count 会从 Trace 数据生成计数类指标;原始 Trace 仍由 debug/traces 接收,派生 Metrics 则只进入 metrics/generated。因此 Connector 不会把 Trace Pipeline “变成” Metrics Pipeline,而是在两条独立数据路径之间建立受支持的转换关系。

先验证配置是否能被当前 Collector 发行版解析。count Connector 需要发行版实际包含该组件,因此这里使用 otelcol-contrib;<PATH> 替换为实际配置文件。

bash
otelcol-contrib validate --config=<PATH>

预期结果

text
退出码:0
Connector 与两条 Pipeline 的引用关系有效;无配置错误输出。

如果改用不包含 count 的自定义 Collector,或者把它接到不支持的信号组合,配置校验应直接失败。生产部署前应以实际发行版执行校验,而不是只检查 YAML 语法。

把处理逻辑放在生成前或生成后

处理位置决定 Connector 看到什么数据。若要排除健康检查 Trace、规范化 span 名称或删除高基数属性,应在源 Trace Pipeline 中、Connector 之前完成,因为这些变化会直接影响后续聚合结果。

若要修改的是派生 Metrics,例如重命名指标属性、过滤某些计数结果或批量导出,则应在目标 Metrics Pipeline 中处理。这样可以把“如何从源信号生成数据”和“如何加工生成后的信号”分开,避免一个处理器同时承担两种语义。

当源数据还要正常落到 Trace 后端时,应像示例那样做 fan-out:一个 exporter 指向真实 Trace 后端,另一个 exporter 指向 Connector。不要误以为 Connector 会自动把源信号继续转发到原来的后端。

选择 Connector 的边界

Connector 适合表达 Pipeline 之间明确的数据关系,例如从 spans 生成 RED 指标、根据 Trace 构建服务关系指标、对日志或 Trace 进行计数,或把同类信号路由到另一条处理链。选择前先确认三个问题:源信号是什么、目标信号是什么、Connector 是转发原数据还是生成新数据。

跨信号聚合尤其要关注基数。若在生成 Metrics 前保留请求 ID、完整 URL 或其他近乎唯一的属性,派生指标可能产生大量时间序列;应在 Connector 前先规范化或删除不应成为维度的字段,再在目标 Metrics Pipeline 中做后续加工。

正确的心智模型是“两个独立 Pipeline,中间由一个同时充当出口和入口的组件连接”。一旦按这个模型设计,就能清楚判断原始信号在哪里结束、派生信号从哪里开始,以及每个处理器究竟影响生成前还是生成后的数据。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

使用 Connector 连接不同信号 Pipeline

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通