可观测性与稳定性 / 系统课时
怎样统计不同状态码数量
怎样统计不同状态码数量
排查接口质量时,单看几条日志很难判断问题规模。本节用 Elasticsearch 的 Terms Aggregation 把 HTTP 状态码归并为 2xx、4xx、5xx 等类别,并读懂每类请求数量,为错误率分析和告警阈值提供基础数据。
学习目标
- 理解 Terms Aggregation 统计分组后文档数量的方式
- 将数值状态码转换为 2xx、4xx、5xx 等可聚合类别
- 根据聚合结果识别客户端错误与服务端错误的分布
先确认统计口径
如果直接对 http.response.status_code 做 Terms Aggregation,会得到 200、201、404、500 这样的单个状态码。要统计 2xx、4xx、5xx,需要先得到一个状态码类别字段。
下面假设日志索引为 access-logs-*,HTTP 状态码字段为 http.response.status_code。示例通过运行时字段临时生成 status_class,因此不要求提前修改索引映射。
用 Terms Aggregation 分组统计
在能够访问 Elasticsearch 的终端执行下面的查询:
ES_URL="http://localhost:9200"
INDEX="access-logs-*"
curl -sS -X POST "$ES_URL/$INDEX/_search" -H 'Content-Type: application/json' --data-binary @- <<'JSON'
{
"size": 0,
"runtime_mappings": {
"status_class": {
"type": "keyword",
"script": "if (doc['http.response.status_code'].size() != 0) { emit((doc['http.response.status_code'].value / 100) + 'xx'); }"
}
},
"aggs": {
"status_classes": {
"terms": {
"field": "status_class",
"size": 10
}
}
}
}
JSON预期输出:
{"aggregations":{"status_classes":{"buckets":[{"key":"2xx","doc_count":<COUNT_2XX>},{"key":"4xx","doc_count":<COUNT_4XX>},{"key":"5xx","doc_count":<COUNT_5XX>}]}}}<COUNT_2XX>、<COUNT_4XX> 和 <COUNT_5XX> 会随实际日志变化。真正需要读取的是 aggregations.status_classes.buckets:每个桶的 key 是状态码类别,doc_count 是落入该类别的日志数量。
读懂聚合结果
2xx 占比高通常表示大部分请求成功;4xx 增长时应优先检查参数、鉴权、路由或调用方行为;5xx 增长则通常需要继续关联服务异常、依赖故障和资源状态进行排查。
如果要计算某类状态码占比,可使用“该类别的 doc_count ÷ 各类别 doc_count 之和”。Terms Aggregation 只负责分组计数,并不会判断某个比例是否异常,实际阈值需要结合业务基线制定。
生产环境的字段设计
运行时字段适合临时分析,但每次查询都需要执行脚本。对于长期使用的仪表盘和告警,更适合在日志采集或 Ingest Pipeline 阶段直接写入 status_class 这样的 keyword 字段,然后对该字段执行 Terms Aggregation。