可观测性与稳定性 / 系统课时

从日志条件触发故障告警

从日志条件触发故障告警

日志告警的关键不是“出现 ERROR 就通知”,而是把检索条件、统计窗口、触发阈值和通知动作组合成可验证的规则。本节以某服务短时间内错误数量超过阈值为例,先验证查询,再在 Kibana 中配置规则,避免告警条件与实际日志结构脱节。

学习目标

  • 把日志检索条件转换成可执行的告警判定逻辑
  • 正确组合时间窗口、错误阈值与通知动作
  • 在启用通知前验证查询范围并控制重复告警

先定义可以验证的故障条件

假设目标是监控 checkout 服务:最近 5 分钟内 ERROR 日志达到 20 条时触发告警。这里包含四个独立要素:数据范围是 logs-*,筛选条件是服务名和日志级别,观察窗口是 5 分钟,阈值是 20 条。

日志条件触发告警链路

阈值必须对应真实业务基线。一个低流量服务 5 分钟出现 20 个错误可能很严重,而高流量服务可能需要同时考虑请求量或错误率。因此首次配置时应先查询历史数据,确认阈值不会在正常波动下持续触发。

先验证日志查询

在创建规则之前,可以通过 Kibana Dev Tools 或直接请求 Elasticsearch 验证条件。下面使用 size: 0 和 track_total_hits: true,因为此处只关心符合条件的准确文档数量。

bash
curl -sS -X POST "http://<HOST>:<PORT>/logs-*/_search" \
  -H 'Content-Type: application/json' \
  -d '{
    "size": 0,
    "track_total_hits": true,
    "query": {
      "bool": {
        "filter": [
          {"range": {"@timestamp": {"gte": "now-5m", "lte": "now"}}},
          {"term": {"service.name.keyword": "checkout"}},
          {"term": {"log.level.keyword": "ERROR"}}
        ]
      }
    }
  }'

预期结果

json
{
  "took": 8,
  "timed_out": false,
  "hits": {
    "total": {
      "value": 7,
      "relation": "eq"
    },
    "hits": []
  }
}

实际 took 和 value 会不同。这里需要确认的是 hits.total.value 确实代表目标服务最近 5 分钟的错误日志数量。如果始终为 0,应先检查字段名、字段类型、时间字段以及日志是否真正写入目标索引,而不是直接降低告警阈值。

在 Kibana 中组合规则条件

Kibana 的具体菜单名称会随版本和授权能力变化,但规则配置的核心关系不变:选择能够查询 Elasticsearch 数据的规则类型,指定目标索引或数据视图,设置查询条件、检查周期和触发阈值,再关联通知动作。

对于这个场景,应让规则表达“在观察窗口内统计符合条件的文档数量,并在数量达到阈值时触发”。检查周期应小于或等于观察窗口,例如每 1 分钟检查最近 5 分钟的数据。这样能够及时发现异常,同时保留一定时间覆盖短暂的采集延迟。

控制重复通知

滑动时间窗口会导致同一批错误连续出现在多次检查中。例如第一次检查已经达到 20 条,下一分钟如果错误仍位于最近 5 分钟窗口内,条件可能继续成立。若每次检查都发送消息,就容易形成通知风暴。

配置动作时应结合 Kibana 当前版本提供的通知频率或状态变化选项,优先让接收者看到“进入告警状态”和“恢复正常”这类有意义的变化。对持续异常,还可以设置合理的重复通知间隔,而不是每次规则执行都发送一次。

通知内容至少应携带规则名称、服务、观察窗口、触发条件和可继续检索日志的线索。不要把密码、访问令牌或完整敏感日志正文直接拼入通知。

用受控日志完成验收

启用规则后,应在测试环境或允许的验证环境产生一组可识别的测试日志,再确认日志被采集、查询能够命中、阈值达到后规则进入告警状态,并最终执行预期动作。若查询已经满足条件但没有通知,应把问题分成“规则是否触发”和“动作是否成功”两段检查。

告警规则只有在查询、阈值和通知链路都经过验证后才算配置完成。先证明日志条件能稳定检索,再调整阈值与执行周期,最后验证通知和恢复行为,可以避免把采集问题、查询错误和通知故障混在一起排查。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

从日志条件触发故障告警

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通