可观测性与稳定性 / 系统课时
配置保留策略和故障看板
配置保留策略和故障看板
本课把“日志保存多久”和“出了故障怎么看”放进同一套运维方案:用 Elasticsearch 生命周期策略控制不同日志的留存成本,再用 Kibana 数据视图和故障面板围绕错误率、延迟、主机与服务维度组织排障信息。
学习目标
- 根据日志用途设计可执行的生命周期阶段和保留时间
- 创建可绑定到日志索引的生命周期策略并验证状态
- 设计值班看板,使告警发生后能从总体异常快速下钻到服务与主机
先按日志价值划分保留时间
保留策略不要只按“磁盘还有多少空间”决定。审计日志、业务错误日志和高频访问日志的业务价值不同,应该分别确定保存周期。例如审计日志可能需要更长保留期,而高频调试日志通常只保留较短时间。
一个可落地的规划是把生命周期拆成 Hot、Warm、Delete 等阶段,并先定义业务规则,再映射到具体策略。实际阶段是否启用温层、冷层或其他能力,要根据集群架构和 Elasticsearch 版本确认,不能机械复制某份模板。
创建生命周期策略
下面使用 Elasticsearch API 创建一个示例 ILM Policy。示例重点演示“写入阶段保持正常、超过年龄后删除”,适合先验证策略是否真正命中目标索引。
curl -X PUT "https://<ELASTICSEARCH_HOST>:9200/_ilm/policy/app-logs-retention" \
-H "Content-Type: application/json" \
-u "<ES_USER>:<ES_PASSWORD>" \
-d '{
"policy": {
"phases": {
"hot": {
"actions": {}
},
"delete": {
"min_age": "30d",
"actions": {
"delete": {}
}
}
}
}
}'预期结果
{
"acknowledged": true
}策略创建成功不代表旧日志已经开始删除。ILM 必须通过模板或索引设置与目标索引建立关系,并且已有索引不会因为“创建了策略”就自动获得你期望的全部行为。
验证策略是否真正生效
先检查某个具体索引的生命周期状态,而不是只看策略定义。下面示例查询索引 app-logs-2026.09.20 的 ILM 信息。
curl -X GET "https://<ELASTICSEARCH_HOST>:9200/app-logs-2026.09.20/_ilm/explain" \
-u "<ES_USER>:<ES_PASSWORD>"预期结果
{
"indices": {
"app-logs-2026.09.20": {
"index": "app-logs-2026.09.20",
"managed": true,
"policy": "app-logs-retention"
}
}
}真实返回内容通常还会包含当前 phase、action 和 step 等状态字段。排查时重点确认 managed 是否为 true、policy 名称是否正确,以及索引当前处于哪个生命周期步骤。若策略未命中,先检查索引模板、策略名称和索引创建时间,不要直接修改删除阶段。
故障看板应该围绕排障路径
值班看板不是把所有指标堆在一页。第一页应回答“现在是否异常”,第二层回答“哪个服务异常”,第三层回答“哪台主机或哪类错误异常”。围绕这一顺序,通常可以安排错误日志数量、错误率、响应时间、服务分组、主机分组和最近异常事件。
一个典型的排障路径是先用时间范围锁定故障窗口,再按 service.name 聚合判断异常服务,然后按 host.name 下钻定位节点,最后打开原始日志确认异常堆栈、请求标识和错误特征。
看板中的每个可视化都应绑定同一套日志字段语义。例如错误率依赖明确的错误标识,服务聚合依赖稳定的 service.name,主机下钻依赖稳定的 host.name。如果某些日志没有这些字段,应该在采集或解析阶段补齐,而不是在看板里用模糊字符串搜索弥补。
用统一筛选条件服务值班
可以为看板预留统一的时间范围和服务筛选,并让面板中的查询共享相同的数据视图。发现异常后,先缩短时间范围观察峰值,再用服务和主机字段逐层收敛;只有范围已经足够小,才进入单条日志和堆栈分析。
最小验收标准
上线前至少验证三件事:新写入索引确实获得目标生命周期策略;超过测试条件后索引能进入预期生命周期阶段;值班看板能够从错误总量下钻到服务、主机和具体日志。这样“省存储”和“能排障”才同时成立,任何一项缺失都会让生产方案出现明显盲区。