可观测性与稳定性 / 系统课时

清洗、补齐与脱敏遥测属性

清洗、补齐与脱敏遥测属性

本课把 Collector 变成遥测数据进入后端前的治理关口:统一旧字段、补齐资源元数据,并在导出前删除或遮蔽敏感属性。完成后,你会得到一条可验证、顺序明确且不会把治理逻辑散落到各业务服务中的处理链。

学习目标

  • 区分资源属性、信号属性与 OTTL 转换各自适合处理的问题
  • 用 resource、attributes 与 transform Processor 完成补齐、规范化和脱敏
  • 通过配置校验与输出检查确认规则真正进入目标 Pipeline

先划清三个处理层次

资源属性描述“这批遥测来自谁”,例如 service.name、部署环境和云区域;Span、Log Record、Metric Data Point 上的属性描述“这条遥测发生了什么”。因此,缺少稳定的环境或基础设施元数据时优先使用 resource,删除单条遥测上的敏感键时使用 attributes。

当规则需要条件、字段复制、旧键迁移或更复杂的表达式时,用 transform 执行 OTTL。不要为了“统一”而把所有逻辑都塞进 OTTL:简单插入、删除由专用 Processor 表达更直接,也更容易审计。

配置一条清洗链

下面以 Trace Pipeline 为主示例。它先补齐部署环境,再尽早删除授权头和 SQL 文本,随后把旧的 http.method 迁移到 http.request.method,并将邮件地址替换为固定脱敏值,最后再批量导出。

yaml
receivers:
  otlp:
    protocols:
      grpc:
        endpoint: 0.0.0.0:4317

processors:
  resource/defaults:
    attributes:
      - key: deployment.environment.name
        value: production
        action: insert

  attributes/sanitize:
    actions:
      - key: http.request.header.authorization
        action: delete
      - key: db.statement
        action: delete

  transform/normalize:
    error_mode: ignore
    trace_statements:
      - set(span.attributes["http.request.method"], span.attributes["http.method"]) where span.attributes["http.request.method"] == nil and span.attributes["http.method"] != nil
      - delete_key(span.attributes, "http.method") where span.attributes["http.request.method"] != nil
      - set(span.attributes["user.email"], "[REDACTED]") where span.attributes["user.email"] != nil

  batch:

exporters:
  debug:
    verbosity: detailed

service:
  pipelines:
    traces:
      receivers: [otlp]
      processors: [resource/defaults, attributes/sanitize, transform/normalize, batch]
      exporters: [debug]

这份配置的生效行为是:已有的 deployment.environment.name 不会被覆盖;敏感键在后续转换和导出前被删除;只有目标新键缺失且旧键存在时才复制 HTTP 方法,随后清除旧键,避免同一语义保留两份字段。

验证配置与处理顺序

先让 Collector 自己解析完整配置,而不是等到生产启动时才发现组件名、OTTL 或缩进错误。这里假设使用包含这些 Processor 的 otelcol-contrib 发行版,并把配置保存为 otelcol.yaml。

bash
otelcol-contrib validate --config=otelcol.yaml && echo "config ok"

预期输出

text
config ok

实际二进制路径可能不同,但退出码为 0 才表示配置通过解析和组件校验。随后启动 Collector,向 OTLP 端点发送一条带旧 http.method、user.email 和授权头的 Span;在 debug 输出中应看到新键存在、旧键和敏感键消失、邮件字段变为 [REDACTED]。

控制脱敏边界

删除通常比“看起来匿名”的稳定哈希更安全,因为邮箱、手机号、IP 等低熵值可能被字典枚举重新识别。只有确实需要跨请求关联时才保留不可逆标识,并优先采用带密钥的 HMAC 类方案,而不是把普通哈希当成访问控制。

同样,不要无条件覆盖 service.name、云区域等由 SDK 或资源检测器提供的可信属性。补齐缺失值用 insert,明确要统一来源时才使用 upsert。完成清洗后,后端应只接收到约定字段和必要元数据,这才算把 Collector 变成真正的治理边界。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

清洗、补齐与脱敏遥测属性

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通