可观测性与稳定性 / 系统课时

用聚合找出异常服务和主机

用聚合找出异常服务和主机

单条错误日志只能说明一次失败,线上排障更需要回答“错误集中在哪个服务、哪台主机、哪个字段值”。本节用 Elasticsearch 聚合把大量日志压缩成可比较的统计结果,并通过错误率与分组分布快速缩小故障范围。

学习目标

  • 使用聚合统计服务、主机等维度的错误分布
  • 计算各服务错误率,避免只看错误数量造成误判
  • 根据聚合结果定位异常集中的服务、主机或字段

从总量转向分组统计

假设日志包含 service.name、host.name、log.level 等结构化字段。搜索单条 ERROR 日志可以看到错误内容,却很难判断故障是否集中。聚合的价值是先按维度分桶,再统计每个桶中的事件数量或错误比例。

例如两个服务分别产生 10000 条和 100 条日志,即使前者有更多错误,其错误率也可能更低。因此排障时通常同时观察错误数量、总日志量和错误率,再结合主机等第二维度继续下钻。

从日志事件聚合到异常服务和主机的排障路径

按服务计算错误率

下面的查询先按 service.name 分桶,再用 filter 聚合统计每个服务的 ERROR 数量。bucket_script 使用错误数除以该服务的日志总数,得到错误率。

json
POST logs-*/_search
{
  "size": 0,
  "aggs": {
    "by_service": {
      "terms": {
        "field": "service.name",
        "size": 10
      },
      "aggs": {
        "errors": {
          "filter": {
            "term": {
              "log.level": "ERROR"
            }
          }
        },
        "error_rate": {
          "bucket_script": {
            "buckets_path": {
              "errors": "errors._count",
              "total": "_count"
            },
            "script": "params.total == 0 ? 0 : params.errors / params.total"
          }
        }
      }
    }
  }
}

预期结果

json
{
  "aggregations": {
    "by_service": {
      "buckets": [
        {
          "key": "order-service",
          "doc_count": 1000,
          "errors": {
            "doc_count": 120
          },
          "error_rate": {
            "value": 0.12
          }
        }
      ]
    }
  }
}

实际桶和值取决于当前索引中的日志。示例中的 0.12 表示该服务约 12% 的日志满足错误条件,而不是 12 条错误。

沿异常服务继续找主机

发现某个服务错误率明显升高后,不要立即认定应用代码有问题。可以给查询增加时间范围和服务过滤条件,再按 host.name 聚合。如果错误几乎集中在一台主机,排查方向就会转向该实例的配置、资源、网络或部署差异。

json
POST logs-*/_search
{
  "size": 0,
  "query": {
    "bool": {
      "filter": [
        { "term": { "service.name": "order-service" } },
        { "term": { "log.level": "ERROR" } },
        { "range": { "@timestamp": { "gte": "now-15m", "lte": "now" } } }
      ]
    }
  },
  "aggs": {
    "by_host": {
      "terms": {
        "field": "host.name",
        "size": 20
      }
    }
  }
}

预期结果

json
{
  "aggregations": {
    "by_host": {
      "buckets": [
        { "key": "app-03", "doc_count": 96 },
        { "key": "app-01", "doc_count": 13 },
        { "key": "app-02", "doc_count": 11 }
      ]
    }
  }
}

实际主机名和数量会不同。如果同一服务的大部分错误集中在 app-03,就应优先比较这台主机与正常实例的版本、环境变量、依赖连接和资源状态。

聚合结果如何用于定位

聚合不是根因证明,而是缩小搜索空间的方法。服务错误率异常说明问题与某个服务高度相关;同一服务中只有单台主机异常,则实例差异更值得检查;多个服务同时出现相同异常字段,则应考虑共享依赖或上游故障。

还要注意时间窗口。短窗口适合捕获突发故障,长窗口适合观察基线,但长窗口可能把几分钟的尖峰稀释掉。排障时可先观察最近 15 分钟,再与正常时段比较,并最终回到异常桶中的原始日志确认具体错误。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

用聚合找出异常服务和主机

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通