可观测性与稳定性 / 系统课时

配置保留策略和故障看板

配置保留策略和故障看板

本课把“日志保存多久”和“出了故障怎么看”放进同一套运维方案:用 Elasticsearch 生命周期策略控制不同日志的留存成本,再用 Kibana 数据视图和故障面板围绕错误率、延迟、主机与服务维度组织排障信息。

学习目标

  • 根据日志用途设计可执行的生命周期阶段和保留时间
  • 创建可绑定到日志索引的生命周期策略并验证状态
  • 设计值班看板,使告警发生后能从总体异常快速下钻到服务与主机

先按日志价值划分保留时间

保留策略不要只按“磁盘还有多少空间”决定。审计日志、业务错误日志和高频访问日志的业务价值不同,应该分别确定保存周期。例如审计日志可能需要更长保留期,而高频调试日志通常只保留较短时间。

一个可落地的规划是把生命周期拆成 Hot、Warm、Delete 等阶段,并先定义业务规则,再映射到具体策略。实际阶段是否启用温层、冷层或其他能力,要根据集群架构和 Elasticsearch 版本确认,不能机械复制某份模板。

创建生命周期策略

下面使用 Elasticsearch API 创建一个示例 ILM Policy。示例重点演示“写入阶段保持正常、超过年龄后删除”,适合先验证策略是否真正命中目标索引。

bash
curl -X PUT "https://<ELASTICSEARCH_HOST>:9200/_ilm/policy/app-logs-retention" \
  -H "Content-Type: application/json" \
  -u "<ES_USER>:<ES_PASSWORD>" \
  -d '{
    "policy": {
      "phases": {
        "hot": {
          "actions": {}
        },
        "delete": {
          "min_age": "30d",
          "actions": {
            "delete": {}
          }
        }
      }
    }
  }'

预期结果

json
{
  "acknowledged": true
}

策略创建成功不代表旧日志已经开始删除。ILM 必须通过模板或索引设置与目标索引建立关系,并且已有索引不会因为“创建了策略”就自动获得你期望的全部行为。

验证策略是否真正生效

先检查某个具体索引的生命周期状态,而不是只看策略定义。下面示例查询索引 app-logs-2026.09.20 的 ILM 信息。

bash
curl -X GET "https://<ELASTICSEARCH_HOST>:9200/app-logs-2026.09.20/_ilm/explain" \
  -u "<ES_USER>:<ES_PASSWORD>"

预期结果

json
{
  "indices": {
    "app-logs-2026.09.20": {
      "index": "app-logs-2026.09.20",
      "managed": true,
      "policy": "app-logs-retention"
    }
  }
}

真实返回内容通常还会包含当前 phase、action 和 step 等状态字段。排查时重点确认 managed 是否为 true、policy 名称是否正确,以及索引当前处于哪个生命周期步骤。若策略未命中,先检查索引模板、策略名称和索引创建时间,不要直接修改删除阶段。

故障看板应该围绕排障路径

值班看板不是把所有指标堆在一页。第一页应回答“现在是否异常”,第二层回答“哪个服务异常”,第三层回答“哪台主机或哪类错误异常”。围绕这一顺序,通常可以安排错误日志数量、错误率、响应时间、服务分组、主机分组和最近异常事件。

一个典型的排障路径是先用时间范围锁定故障窗口,再按 service.name 聚合判断异常服务,然后按 host.name 下钻定位节点,最后打开原始日志确认异常堆栈、请求标识和错误特征。

看板中的每个可视化都应绑定同一套日志字段语义。例如错误率依赖明确的错误标识,服务聚合依赖稳定的 service.name,主机下钻依赖稳定的 host.name。如果某些日志没有这些字段,应该在采集或解析阶段补齐,而不是在看板里用模糊字符串搜索弥补。

用统一筛选条件服务值班

可以为看板预留统一的时间范围和服务筛选,并让面板中的查询共享相同的数据视图。发现异常后,先缩短时间范围观察峰值,再用服务和主机字段逐层收敛;只有范围已经足够小,才进入单条日志和堆栈分析。

最小验收标准

上线前至少验证三件事:新写入索引确实获得目标生命周期策略;超过测试条件后索引能进入预期生命周期阶段;值班看板能够从错误总量下钻到服务、主机和具体日志。这样“省存储”和“能排障”才同时成立,任何一项缺失都会让生产方案出现明显盲区。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

配置保留策略和故障看板

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通