可观测性与稳定性 / 系统课时

怎样绘制错误数量时间趋势

怎样绘制错误数量时间趋势

错误总数只能说明“有多少”,无法说明“什么时候开始变多”。本节用 Date Histogram 把错误日志按固定时间桶聚合,得到分钟级或小时级序列,再把桶时间作为横轴、错误数量作为纵轴绘制趋势线。

学习目标

  • 使用时间范围和状态码条件筛选需要观察的错误日志
  • 使用 Date Histogram 生成连续的时间桶
  • 根据分析跨度选择分钟或小时级统计粒度

先确定时间范围与错误条件

趋势分析通常先限定观察窗口,再定义什么算错误。下面示例查看最近 24 小时,并把 HTTP 状态码大于等于 400 的日志视为错误。

时间字段假设为 @timestamp,状态码字段为 http.response.status_code。如果实际日志使用其他字段名,应以索引映射中的字段为准。

用 Date Histogram 生成小时趋势

下面的查询让每个桶代表一小时。min_doc_count 设置为 0 后,没有错误的小时也会保留;extended_bounds 则确保观察窗口两端的空时间桶不会被省略。

bash
ES_URL="http://localhost:9200"
INDEX="access-logs-*"
curl -sS -X POST "$ES_URL/$INDEX/_search" -H 'Content-Type: application/json' --data-binary @- <<'JSON'
{
  "size": 0,
  "query": {
    "bool": {
      "filter": [
        {
          "range": {
            "@timestamp": {
              "gte": "now-24h",
              "lte": "now"
            }
          }
        },
        {
          "range": {
            "http.response.status_code": {
              "gte": 400
            }
          }
        }
      ]
    }
  },
  "aggs": {
    "errors_over_time": {
      "date_histogram": {
        "field": "@timestamp",
        "fixed_interval": "1h",
        "min_doc_count": 0,
        "extended_bounds": {
          "min": "now-24h/h",
          "max": "now/h"
        }
      }
    }
  }
}
JSON

预期输出:

text
{"aggregations":{"errors_over_time":{"buckets":[{"key_as_string":"<TIME_1>","doc_count":<COUNT_1>},{"key_as_string":"<TIME_2>","doc_count":<COUNT_2>},{"key_as_string":"<TIME_3>","doc_count":<COUNT_3>}]}}}

<TIME_1> 和 <COUNT_1> 等值由实际数据决定。响应中的 aggregations.errors_over_time.buckets 就是一条按时间排序的序列,其中 key_as_string 表示时间桶,doc_count 表示该时间段的错误日志数量。

把聚合桶映射成趋势线

绘制折线图时只需要使用两个字段:

图表维度 Date Histogram 字段
横轴时间 key_as_string
纵轴错误数量 doc_count

连续多个时间桶都保持较高 doc_count,说明错误可能持续存在;某个时间桶突然形成尖峰,则适合继续与发布、流量变化或依赖故障的时间点进行对照。保留零值桶也很重要,否则图表可能直接连接缺失时间段,使趋势看起来比实际更连续。

选择分钟还是小时粒度

排查几分钟内发生的短时故障时,可把 fixed_interval 改为 1m 或 5m,以观察更细的尖峰;查看一天到一周的整体变化时,1h 通常更容易阅读。时间跨度越大而桶越细,返回的桶数量越多,查询和图表渲染成本也越高。

如果需要按照自然日统计,应使用 calendar_interval 的 1d,并根据业务时区设置 time_zone。这样每日边界会按指定时区划分,而不是简单地按固定 24 小时切桶。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

怎样绘制错误数量时间趋势

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通