可观测性与稳定性 / 系统课时

排查无数据与导出失败

排查无数据与导出失败

“后端看不到数据”可能发生在应用 SDK、网络、Collector 或后端任一层。有效排障不是反复改配置,而是给链路设置可观察的分界点,确认数据最后出现在哪里,再只检查下一跳。

学习目标

  • 按 SDK、网络、Receiver、Processor、Exporter、后端的顺序缩小故障范围
  • 使用 debug exporter 与 Collector 自遥测建立可验证的分界点
  • 根据拒收、队列、发送失败等证据选择修复动作并完成回归验证

先把无数据切成六段链路

先固定一个可重复请求,并记录服务名、请求时间和 Trace ID;没有 Trace ID 时,至少记录精确时间窗口。然后沿“SDK 产生 → 网络发送 → Receiver 接收 → Processor 处理 → Exporter 发送 → 后端写入与查询”逐段检查。一次只跨一个边界,否则很容易把后端查询条件错误误判成 Collector 故障。

无数据与导出失败的逐层排查链路

最常见的低级错误是协议与端口对不上:OTLP/gRPC 通常使用 4317,OTLP/HTTP 通常使用 4318;还要核对 SDK 的 endpoint 是否包含正确的协议、路径与 TLS 设置,以及 Receiver 是否真正被引用到 service.pipelines.traces 中。

用 debug exporter 建立分界点

排障时可临时让同一条 traces pipeline 同时写入 debug exporter 和真实后端。下面是完整的最小 Trace 配置;<HOST> 替换为实际后端地址。

yaml
receivers:
  otlp:
    protocols:
      grpc:
        endpoint: 0.0.0.0:4317
      http:
        endpoint: 0.0.0.0:4318

processors:
  batch:

exporters:
  debug:
    verbosity: detailed
  otlp/backend:
    endpoint: <HOST>:4317

service:
  pipelines:
    traces:
      receivers: [otlp]
      processors: [batch]
      exporters: [debug, otlp/backend]

生效行为:Collector 接收的 Span 会先经过 batch,随后同时交给本地 debug exporter 与真实 OTLP exporter。只发送少量受控请求后检查 Collector 日志:如果 debug 中没有 Span,继续向 SDK、网络、Receiver 或 Processor 上游排查;如果 debug 有 Span 而后端没有,则故障范围已经收敛到真实 Exporter、网络出口或后端。

读取证据而不是猜配置

Collector 自遥测可以回答“数据有没有进来、有没有发出去、队列是否堵住”。在保留默认本地 metrics 端点的部署中,可先确认指标端点可访问;如果你修改过监听地址,应替换下面的地址。

bash
curl -fsS -o /dev/null -w 'metrics_http=%{http_code}\n' http://127.0.0.1:8888/metrics

预期输出

text
metrics_http=200

随后重点比较 otelcol_receiver_accepted_spans、otelcol_receiver_refused_spans、otelcol_exporter_sent_spans、otelcol_exporter_send_failed_spans 与 otelcol_exporter_queue_size。不要只看某个瞬时值,应在发送固定测试请求前后比较增量:Receiver 已接收但 Exporter 没有成功发送,说明问题位于 Collector 中后段;发送成功仍查不到,则继续检查后端租户、时间范围、服务名过滤和写入状态。

按根因修复并闭环

如果 Receiver 没有数据,修正 SDK endpoint、协议、DNS、Service、NetworkPolicy、证书或 Receiver pipeline 引用;如果 Processor 后数据消失,逐个临时旁路 filter、采样或自定义处理器定位规则;如果发送失败,核对后端地址、TLS、鉴权、限流和配额,并检查发送队列是否持续逼近容量。

修复后重新发送同一类固定请求,确认 debug 或 Receiver 计数出现数据、Exporter 成功发送、失败与拒收不再增长,并最终在后端按同一 Trace ID 或时间窗口查到该请求。只有这四个证据同时闭环,才算真正解决“无数据”,而不是偶然恢复。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

排查无数据与导出失败

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通