可观测性与稳定性 / 系统课时

时间序列数量暴涨怎么查

时间序列数量暴涨怎么查

时间序列突然变多,最常见的原因不是“采样太频繁”,而是新指标或 Label 组合数量失控。本篇用 Prometheus 自带的 TSDB 统计接口先定位增长集中在哪个指标、哪个标签,再判断是否把用户 ID、原始 URL、请求参数等高基数字段误当成 Label。

学习目标

  • 用 TSDB 统计快速定位序列数增长集中在哪些指标和标签
  • 判断高基数 Label 为什么会把一个指标拆成大量时间序列
  • 按“定位、修复、验证”的顺序处理基数暴涨问题

先确认是不是基数问题

Prometheus 中,一组唯一的“指标名 + 全部 Label 键值”就是一条时间序列。采样间隔变短主要增加样本数;Label 新增大量不同取值,则会直接增加时间序列数。

例如 http_requests_total{method="GET",route="/orders"} 与 http_requests_total{method="GET",route="/users"} 是两条序列。如果把 user_id 放进 Label,10 万个活跃用户就可能把原本几十条序列扩成数十万条;若再叠加原始 URL、Pod、状态码等维度,组合数会继续相乘。

先看现象是否同时伴随 Prometheus 内存上涨、WAL 写入变大或查询变慢,但不要直接据此猜根因。真正需要确认的是:当前 Head 中有多少序列,以及增长集中在哪里。

用 TSDB 统计找到异常指标和标签

Prometheus 的 /api/v1/status/tsdb 会返回当前 Head 的序列数量、按指标名统计的序列数、按标签名统计的取值数量,以及高占用的标签键值对。下面的命令需要本机已有 curl 和 jq,并假设 Prometheus 地址为 http://localhost:9090。

bash
PROM_URL="${PROM_URL:-http://localhost:9090}"
curl -fsS "$PROM_URL/api/v1/status/tsdb?limit=20" > /tmp/prom-tsdb.json

jq -r '
  "numSeries=" + (.data.headStats.numSeries|tostring),
  "",
  "top metrics:",
  (.data.seriesCountByMetricName[] | "metric=" + .name + " series=" + (.value|tostring)),
  "",
  "top label value counts:",
  (.data.labelValueCountByLabelName[] | "label=" + .name + " values=" + (.value|tostring))
' /tmp/prom-tsdb.json

预期输出

text
numSeries=<COUNT>

top metrics:
metric=<METRIC_NAME> series=<COUNT>
...

top label value counts:
label=<LABEL_NAME> values=<COUNT>
...

<COUNT>、<METRIC_NAME> 和 <LABEL_NAME> 会随实际数据变化。排查时先找最近突然进入榜单或数量明显变大的指标,再看是否同时出现取值数量异常的业务标签。__name__、instance 等标签本身可能排在前面,不应只凭“排名第一”就认定为问题。

时间序列基数暴涨的定位路径

识别不适合作为 Label 的字段

判断一个字段能不能做 Label,不是看它“有没有业务意义”,而是看它的取值集合是否受控、是否真的需要用于聚合和筛选。下面几类字段尤其危险:

  • 用户 ID、订单 ID、Trace ID、Session ID:取值接近对象数量,通常持续增长。
  • 原始 URL 或完整路径:/users/123 与 /users/456 会变成不同取值;应优先暴露规范化路由,如 /users/:id。
  • 查询参数、时间戳、随机值:几乎每次请求都可能产生新值。
  • 错误消息全文:文本内容变化多,适合日志,不适合指标 Label。

一个实用判断是:如果这个值更像“事件详情”而不是“有限维度”,通常应放到日志或 Trace 中,而不是长期进入指标标签集合。

修复时先控制新序列继续产生

最优修复位置通常在应用埋点或 Exporter:删除高基数 Label,或把原始值归一化为有限集合。例如保留 route="/users/:id",而不是记录真实用户路径。这样既减少新序列,也保留按接口聚合的能力。

如果暂时无法修改源端,可在抓取侧临时丢弃问题指标,避免基数继续膨胀;但这会直接失去该指标数据,只适合作为止血措施。不要随意通过 labeldrop 删除唯一性关键标签,因为不同样本在标签被移除后可能碰撞,必须先确认剩余标签仍能唯一表达需要保留的序列。

修复后重新执行前面的 TSDB 统计,并与故障期间保存的结果比较。重点看问题指标的序列数、可疑 Label 的取值数量,以及 headStats.numSeries 是否停止增长。旧序列不会因为修改埋点立即从所有历史块中消失,因此验证重点是不再持续产生新组合,而不是要求总数瞬间归零。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

时间序列数量暴涨怎么查

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通