可观测性与稳定性 / 系统课时
使用 Connector 连接不同信号 Pipeline
使用 Connector 连接不同信号 Pipeline
Connector 用来把一个 Pipeline 的输出接到另一个 Pipeline 的输入,它既像上游 Pipeline 的 exporter,又像下游 Pipeline 的 receiver。本节用 Trace 计数生成 Metrics 的完整配置,说明跨信号转换发生在哪里,以及原始数据和派生数据应分别在哪一侧处理。
学习目标
- 理解 Connector 同时承担 exporter 端与 receiver 端角色的连接模型
- 配置 Trace 到 Metrics 的跨信号 Pipeline,并保留原始 Trace 输出
- 判断过滤、聚合和派生数据处理应放在 Connector 的哪一侧
Connector 为什么不是普通 Exporter
Collector 的每条 Pipeline 只处理一种信号类型。普通 exporter 把数据送出 Collector,而 Connector 的 exporter 端接收源 Pipeline 数据,再由同名 Connector 的 receiver 端把数据交给目标 Pipeline;某些 Connector 会保持信号类型不变,另一些会在中间生成新的信号。

这意味着 Connector 必须同时出现在两条 Pipeline 中:在源 Pipeline 的 exporters 列表中使用它,在目标 Pipeline 的 receivers 列表中再次使用同一个组件名。能否连接 traces、metrics 或 logs,取决于具体 Connector 支持的信号组合,不能任意跨接。
用 count Connector 从 Trace 生成 Metrics
下面使用 count Connector 统计收到的 span 与 span event。Trace Pipeline 同时把原始 Trace 输出到 debug/traces,并把同一份流量交给 count;Connector 生成的 Metrics 再进入独立的 Metrics Pipeline。
receivers:
otlp:
protocols:
grpc:
endpoint: 0.0.0.0:4317
connectors:
count:
exporters:
debug/traces:
verbosity: basic
debug/metrics:
verbosity: detailed
service:
pipelines:
traces:
receivers: [otlp]
exporters: [debug/traces, count]
metrics/generated:
receivers: [count]
exporters: [debug/metrics]使用默认配置时,count 会从 Trace 数据生成计数类指标;原始 Trace 仍由 debug/traces 接收,派生 Metrics 则只进入 metrics/generated。因此 Connector 不会把 Trace Pipeline “变成” Metrics Pipeline,而是在两条独立数据路径之间建立受支持的转换关系。
先验证配置是否能被当前 Collector 发行版解析。count Connector 需要发行版实际包含该组件,因此这里使用 otelcol-contrib;<PATH> 替换为实际配置文件。
otelcol-contrib validate --config=<PATH>预期结果
退出码:0
Connector 与两条 Pipeline 的引用关系有效;无配置错误输出。如果改用不包含 count 的自定义 Collector,或者把它接到不支持的信号组合,配置校验应直接失败。生产部署前应以实际发行版执行校验,而不是只检查 YAML 语法。
把处理逻辑放在生成前或生成后
处理位置决定 Connector 看到什么数据。若要排除健康检查 Trace、规范化 span 名称或删除高基数属性,应在源 Trace Pipeline 中、Connector 之前完成,因为这些变化会直接影响后续聚合结果。
若要修改的是派生 Metrics,例如重命名指标属性、过滤某些计数结果或批量导出,则应在目标 Metrics Pipeline 中处理。这样可以把“如何从源信号生成数据”和“如何加工生成后的信号”分开,避免一个处理器同时承担两种语义。
当源数据还要正常落到 Trace 后端时,应像示例那样做 fan-out:一个 exporter 指向真实 Trace 后端,另一个 exporter 指向 Connector。不要误以为 Connector 会自动把源信号继续转发到原来的后端。
选择 Connector 的边界
Connector 适合表达 Pipeline 之间明确的数据关系,例如从 spans 生成 RED 指标、根据 Trace 构建服务关系指标、对日志或 Trace 进行计数,或把同类信号路由到另一条处理链。选择前先确认三个问题:源信号是什么、目标信号是什么、Connector 是转发原数据还是生成新数据。
跨信号聚合尤其要关注基数。若在生成 Metrics 前保留请求 ID、完整 URL 或其他近乎唯一的属性,派生指标可能产生大量时间序列;应在 Connector 前先规范化或删除不应成为维度的字段,再在目标 Metrics Pipeline 中做后续加工。
正确的心智模型是“两个独立 Pipeline,中间由一个同时充当出口和入口的组件连接”。一旦按这个模型设计,就能清楚判断原始信号在哪里结束、派生信号从哪里开始,以及每个处理器究竟影响生成前还是生成后的数据。