可观测性与稳定性 / 系统课时

绘制 4xx 和 5xx 错误趋势

绘制 4xx 和 5xx 错误趋势

单看错误总量只能知道“出问题了”,时间趋势才能回答异常从什么时候开始、持续多久以及是否正在恢复。本节用 HTTP 状态码把 4xx 与 5xx 分开聚合,再把时间桶结果画成两条趋势线,形成可用于值班排查的基础图表。

学习目标

  • 用状态码范围分别统计 4xx 与 5xx。
  • 按固定时间桶生成可绘图的错误序列。
  • 根据流量、发布和错误类型判断趋势是否值得告警或下钻。

先统一图表口径

趋势图至少需要两个字段:时间字段 @timestamp 和数值型状态码字段 status。横轴使用时间,纵轴使用错误数量;4xx 与 5xx 必须拆成两条序列,否则客户端请求问题和服务端故障会被混在一起。

建议先从“错误数量”开始。若业务流量昼夜差异很大,再补充错误率,否则高峰期仅因请求量增加就可能出现错误数量同步上升。

4xx 与 5xx 错误趋势从日志聚合到双折线图的关系

用时间桶生成两类错误序列

下面的片段示例适合直接放进 Elasticsearch 或 OpenSearch 的 Dev Tools。它查询最近 1 小时日志,每 5 分钟生成一个时间桶,并在每个桶内分别统计 4xx 和 5xx。若你的状态码字段不是数值类型,应先修正 Mapping,而不是直接对文本字段做范围查询。

text
POST logs-*/_search
{
  "size": 0,
  "query": {
    "range": {
      "@timestamp": {
        "gte": "now-1h",
        "lt": "now"
      }
    }
  },
  "aggs": {
    "timeline": {
      "date_histogram": {
        "field": "@timestamp",
        "fixed_interval": "5m",
        "min_doc_count": 0
      },
      "aggs": {
        "status_class": {
          "filters": {
            "filters": {
              "4xx": {
                "range": {
                  "status": {
                    "gte": 400,
                    "lt": 500
                  }
                }
              },
              "5xx": {
                "range": {
                  "status": {
                    "gte": 500,
                    "lt": 600
                  }
                }
              }
            }
          }
        }
      }
    }
  }
}

预期结果:响应中的 aggregations.timeline.buckets 会按 5 分钟排列,每个桶都包含 4xx 与 5xx 的 doc_count。实际时间与数量取决于索引数据。

text
<TIME>  4xx=<COUNT_4XX>  5xx=<COUNT_5XX>
<TIME>  4xx=<COUNT_4XX>  5xx=<COUNT_5XX>
...

min_doc_count: 0 很重要,它会保留没有错误的时间桶,使折线在“0 错误”时仍连续,而不是把空档误看成采集缺失。

在 Dashboard 中画成两条线

无论使用 Kibana 还是 OpenSearch Dashboards,图表配置都应保持同一口径:时间范围与查询一致,X 轴按 @timestamp 聚合,两个系列分别过滤 400 <= status < 500 和 500 <= status < 600。时间桶可先使用 5 分钟,再根据观察窗口缩放。

短窗口适合定位突发故障,长窗口适合判断趋势。若把一天的数据仍按 1 分钟分桶,噪声会很多;如果把最近 15 分钟按 1 小时分桶,又会把尖峰抹平。时间粒度必须与排障问题匹配。

读图时先判断是哪一类变化

4xx 突升通常先检查请求参数、鉴权、路由或客户端版本;5xx 突升则优先检查应用异常、依赖超时、数据库和下游服务。两者同时上涨时,还要结合总请求量判断是否只是流量激增。

趋势出现拐点后,应把该时间点与发布、配置变更、扩缩容或上游事件对齐,再下钻原始日志。图表负责缩小时间范围,原始日志负责提供具体错误证据,二者不要互相替代。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

绘制 4xx 和 5xx 错误趋势

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通