可观测性与稳定性 / 系统课时
上线前逐项检查运行风险
上线前逐项检查运行风险
上线前检查的目标不是把配置表抄一遍,而是确认日志平台在真实负载、权限限制、证书校验、磁盘增长和故障场景下仍能正常工作。完成本课后,你可以形成一份可执行的上线基线,并留下可复核的验证证据。
学习目标
- 能按容量、权限、证书、生命周期、告警、备份和恢复逐项检查生产风险
- 能用命令验证关键运行条件,而不是只依赖配置文件
- 能明确上线阻断项,并保留可回溯的检查结果
先定义上线基线
上线基线应回答一个问题:系统现在是否具备可运行、可观察、可恢复的最低条件。检查时不要只看“配置存在”,还要验证配置已经生效,例如 Elasticsearch 能正常响应、Kibana 能访问、采集链路有数据流动、磁盘水位和保留周期能够支撑预计日志量。
建议把检查结果分成“通过”“需要整改”“上线阻断”三类。证书即将过期、备份未验证、磁盘容量不足、生产凭据权限过大等问题,不应因为服务当前处于 Running 就视为通过。

容量与生命周期是否闭环
日志容量检查至少要覆盖每日写入量、保留周期、分片规模、磁盘水位和副本成本。可以先计算规划容量:
其中 是每日写入量, 是保留天数, 是副本数, 是索引开销系数, 是安全余量。生产环境不应只按当前一天的数据量估算,还要考虑突发流量和恢复过程产生的额外空间需求。
同时确认 ILM 或其他生命周期策略确实命中目标索引,检查 rollover、保留和删除动作是否符合预期。不要因为“已经配置了策略”就直接放行,必须验证现有索引实际使用了正确的数据流、别名或生命周期规则。
权限与证书是否真正可用
权限检查关注两个方向:服务账号是否只拥有完成工作所需的权限,以及运维人员是否仍保留必要的管理权限。重点检查 Elasticsearch、Kibana、Logstash、Filebeat 使用的凭据作用域,并避免把高权限管理员账号直接用于采集或查询服务。
证书检查不能只看文件存在,还要验证主机名、SAN、有效期和信任链。可直接从客户端发起 HTTPS 请求:
curl --cacert <PATH>/ca.crt https://<HOST>:<PORT>/预期结果
HTTP/1.1 200 OK实际响应体和状态码可能因安全配置、访问权限及接口不同而变化;关键验证点是客户端能够用目标 CA 完成证书校验并建立 HTTPS 连接。证书临近过期、SAN 不匹配或 CA 不受信任,都应在上线前处理。
告警、备份与恢复是否经过实测
告警检查要验证“发生异常时能不能被发现”。至少覆盖磁盘水位、节点异常、未分配分片、采集链路中断和关键服务不可用。还要确认告警去重、恢复通知和通知渠道本身正常,避免告警系统失效后无人知晓。
备份检查不能停留在“快照仓库已配置”。应确认备份任务成功、快照能够查询,并至少做一次恢复演练。恢复验证关注的是:能否取得可用数据、恢复后的索引能否读取、权限与生命周期配置是否正确,而不是单纯看到一个成功状态。
用命令留下可复核证据
上线前可以把关键检查压缩成一次最小验证集:
docker compose ps
docker compose logs --tail=50 elasticsearch kibana logstash filebeat
curl --cacert <PATH>/ca.crt https://<HOST>:<PORT>/
docker compose config >/tmp/elk-compose-<TIME>.yaml预期结果
docker compose ps
# 关键服务处于预期状态,例如 running 或 healthy
docker compose logs --tail=50 elasticsearch kibana logstash filebeat
# 能看到近期日志,且无持续启动失败、认证失败或连接失败
curl --cacert <PATH>/ca.crt https://<HOST>:<PORT>/
# HTTPS 连接成功,并返回目标服务响应
docker compose config >/tmp/elk-compose-<TIME>.yaml
# 命令成功退出,并生成展开后的最终 Compose 配置其中 <TIME>、<PATH>、<HOST> 和 <PORT> 为实际环境值。检查结果应保存到发布记录中,尤其是容量计算、证书有效期、快照成功记录和恢复演练结果。
设置明确的上线阻断条件
上线前最后一步不是“确认大家都看过”,而是明确哪些问题必须先修复。建议把以下情况直接作为阻断项:无法建立受信任的 TLS 连接、关键账号权限无法解释、磁盘余量无法覆盖计划保留期、核心告警无法触达、备份不可恢复,或故障后没有经过验证的恢复路径。
当这些条件全部通过,再把当前版本、镜像或配置摘要、容量基线、证书期限、生命周期策略、告警状态和恢复演练结果一起归档。这样上线检查就不再是一张静态清单,而是一份能够支持后续排障、审计和回滚的运行基线。