可观测性与稳定性 / 系统课时

采集间隔应该设置多短

采集间隔应该设置多短

Prometheus 的采集间隔并不是越短越好。更高的采样频率能更快观察变化,却会同时增加目标请求量、Prometheus 写入量和存储数据量。合理设置应从指标变化速度和告警时效出发,而不是把所有 Job 都改成几秒一次。

学习目标

  • 理解 scrape_interval 对采样精度、请求频率和数据量的影响
  • 能根据指标变化速度选择合理的采集周期
  • 能使用全局间隔并为特殊 Job 单独覆盖配置

采集间隔决定每条时间序列多久产生一个样本

假设一个目标暴露 20000 条活跃时间序列,忽略抓取失败和序列变化,仅改变采集间隔时,理论样本写入速度大约等于“时间序列数量除以间隔秒数”。

采集间隔 每条序列每分钟样本数 20000 条序列约产生的样本数
5 秒 12 240000/分钟
15 秒 4 80000/分钟
60 秒 1 20000/分钟

可以用一个简单计算验证这个关系:

bash
series=20000
interval=15
awk -v n="$series" -v t="$interval" 'BEGIN { printf "%.0f samples/s\n", n / t }'

预期输出:

text
1333 samples/s

这里只计算采样数量,不等于 Prometheus 实际磁盘写入字节数。标签数量、活跃序列数、数据保留时间以及压缩效果都会继续影响资源消耗,但缩短采集间隔会直接提高单位时间内产生的样本数量。

根据指标变化速度选择周期

采集周期应足以捕获你真正关心的变化。CPU 使用率、请求速率、队列长度等变化较快的运行指标,通常需要比磁盘总容量、证书到期时间或静态机器信息更密集的采样。

例如,一个持续 8 秒的尖峰,如果每 60 秒才采集一次,就可能完全落在两个采样点之间;改成 15 秒仍不能保证捕获所有短暂尖峰,但能明显提高时间分辨率。反过来,对于数小时甚至数天才缓慢变化的指标,把间隔从 60 秒降到 5 秒通常只会制造更多相近样本。

还要结合告警需求考虑。如果希望在故障出现后几十秒内形成可靠判断,那么一分钟一次的抓取往往过慢;如果只是制作容量趋势报表,则没有必要为了图表更“平滑”而高频采样。

全局设置默认值,再为特殊 Job 覆盖

Prometheus 可以在 global 中设置默认 scrape_interval,并在单个 scrape_config 中覆盖它。下面让大多数目标每 30 秒采集一次,而需要更高时间分辨率的 API 服务每 10 秒采集一次:

yaml
global:
  scrape_interval: 30s

scrape_configs:
  - job_name: node
    static_configs:
      - targets:
          - '<HOST>:9100'

  - job_name: api
    scrape_interval: 10s
    scrape_timeout: 8s
    static_configs:
      - targets:
          - '<HOST>:8080'

这段配置属于完整的核心采集结构,但 <HOST> 需要替换为实际地址。node 继承全局 30 秒间隔,api 单独使用 10 秒间隔;同时 scrape_timeout 设置为 8 秒,短于该 Job 的 10 秒采集周期,避免一次抓取长期占用到下一轮。

配置修改后,可以先检查文件中最终设置的采集周期:

bash
awk '/scrape_interval|scrape_timeout/ {print}' prometheus.yml

预期输出:

text
  scrape_interval: 30s
    scrape_interval: 10s
    scrape_timeout: 8s

空格数量取决于 YAML 缩进,但三个配置值应与文件一致。随后应按实际部署方式让 Prometheus 加载新配置,并在 Targets 页面观察 Scrape Duration、Last Scrape 和状态是否正常。

间隔过短时先看三个成本

缩短周期前,应同时检查目标端压力、Prometheus 自身负载和真正需要的时间分辨率。大量 Exporter 被频繁请求时,采集本身可能成为目标服务的额外负担;Prometheus 端则会处理更多 HTTP 请求、样本解析、WAL 写入和后续存储工作。

时间序列基数也会放大这种影响。一个只有几百条序列的 Job 从 30 秒改成 15 秒,代价可能很小;一个拥有几十万条活跃序列的 Job 做相同调整,样本吞吐会直接接近翻倍。因此遇到存储或 CPU 压力时,除了调整采集间隔,还应检查是否存在不必要的高基数标签和无价值指标。

实践中更稳妥的方式是先给整个环境设置一个满足多数监控需求的默认周期,再只为少数变化快、告警时效要求高的 Job 缩短间隔。这样既保留关键指标的时间分辨率,也避免让所有目标为少数实时场景承担相同成本。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

采集间隔应该设置多短

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通