可观测性与稳定性 / 系统课时

控制高基数属性与指标维度

控制高基数属性与指标维度

高基数属性会把一个本来可聚合的指标拆成大量时间序列,直接放大内存、存储与查询成本。本课用可运行的小实验识别维度爆炸,再把用户 ID、URL 参数等信息合理分配到 Metric、Trace 和 Log。

学习目标

  • 能用值域与组合数判断属性是否会制造高基数
  • 能区分同一信息进入 Metric、Trace 或 Log 时的成本与用途
  • 能设计从埋点、视图到后端的多层高基数保护

先看值域,不要只看字段名

指标的基数来自“不同属性组合的数量”。http.request.method 通常只有少量取值,http.route 应使用路由模板,因此适合作为聚合维度;而 user.id、订单 ID、请求 ID、带参数的原始 URL 往往接近每次请求都不同,一旦进入 Metric 就可能为每个值创建新的时间序列。

高基数和敏感信息是两个维度的问题。user.id 既可能高基数,也可能涉及隐私;即使某个字段基数很低,只要包含凭证、邮箱、精确位置等敏感内容,也不能因为“成本可控”就直接采集。

用小实验看维度爆炸

下面的 Python 程序把 1000 次请求映射成指标属性组合。它不依赖 OpenTelemetry SDK,只演示 Metric 后端真正面对的唯一属性集合数量。

python
methods = ("GET", "POST", "DELETE")
routes = ("/orders/{id}", "/users/{id}")

# 模拟 1000 个不同用户访问有限的方法和路由模板。
requests = [
    {
        "method": methods[i % len(methods)],
        "route": routes[i % len(routes)],
        "user_id": f"user-{i}",
    }
    for i in range(1000)
]

def series_count(keys):
    # 每个不同的属性元组都代表一个潜在时间序列。
    return len({tuple(item[key] for key in keys) for item in requests})

print("method+route:", series_count(("method", "route")))
print("method+route+user_id:", series_count(("method", "route", "user_id")))

预期输出

text
method+route: 6
method+route+user_id: 1000

这里只增加一个 user_id 维度,序列数就从 6 增长到 1000。真实系统还会叠加服务、区域、状态、实例等属性,因此不能用“单个字段看起来没多少值”来判断总体成本。

按信号分配属性

Metric 负责聚合趋势,最需要低且可预测的维度;Trace 以单次请求为中心,可以在确有诊断价值且满足隐私要求时保留部分高基数标识;Log 更适合承载详细诊断内容,但仍要区分“保存”与“建立索引”,否则日志索引也会承担类似的高基数成本。

信息 Metric Trace Log 处理原则
http.request.method 适合 适合 可选 值域小,便于聚合
http.route 适合 适合 可选 必须使用路由模板,不能用真实路径替代
error.type 通常适合 适合 适合 应使用可预测、低基数的错误类别
user.id / enduser.id 不适合 谨慎使用 谨慎使用 高基数且可能涉及隐私,必要时脱敏或改用受控关联方式
原始 URL 与查询参数 不适合 谨慎使用 谨慎使用 先清除凭证和敏感参数,避免把动态参数变成指标维度
订单 ID、请求业务 ID 不适合 视诊断价值使用 视诊断价值使用 适合定位单次事件,不适合长期聚合

高基数属性在 Metric、Trace 与 Log 之间的分配决策

把限制放在数据进入指标之前

最有效的治理是在埋点处不把高基数字段放进 Metric。第二层是在 SDK 的 Metric View 或等价配置中只保留允许的属性键;第三层才是 Collector 或后端过滤。SDK 的 cardinality limit 可以作为兜底,但它解决的是“最多保留多少组合”,不是“哪些维度具有正确业务语义”,不能替代属性设计。

对于 URL,优先让指标使用 http.route 这样的低基数模板;原始 URL 或查询参数即使进入 Trace 或 Log,也应先做敏感参数清理。对于用户标识,先回答是否真的需要遥测系统长期持有,再决定是否使用受控的伪匿名标识、仅在 Trace 中保留,或完全不采集。

验收治理是否生效

上线前先比较变更前后的唯一属性组合数、时间序列数和导出数据量,再抽样检查是否仍出现真实用户 ID、订单 ID、原始动态路径或未清理的查询参数。告警和仪表盘应继续按路由模板、方法、错误类别等稳定维度得到一致结果。

高基数治理的核心不是把所有“唯一值”都删掉,而是让聚合信号只承担聚合职责,把单次事件的定位信息留给更合适的 Trace 或 Log,并在任何信号上都先满足隐私和安全边界。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

控制高基数属性与指标维度

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通