可观测性与稳定性 / 系统课时

上线前逐项检查运行风险

上线前逐项检查运行风险

上线前检查的目标不是把配置表抄一遍,而是确认日志平台在真实负载、权限限制、证书校验、磁盘增长和故障场景下仍能正常工作。完成本课后,你可以形成一份可执行的上线基线,并留下可复核的验证证据。

学习目标

  • 能按容量、权限、证书、生命周期、告警、备份和恢复逐项检查生产风险
  • 能用命令验证关键运行条件,而不是只依赖配置文件
  • 能明确上线阻断项,并保留可回溯的检查结果

先定义上线基线

上线基线应回答一个问题:系统现在是否具备可运行、可观察、可恢复的最低条件。检查时不要只看“配置存在”,还要验证配置已经生效,例如 Elasticsearch 能正常响应、Kibana 能访问、采集链路有数据流动、磁盘水位和保留周期能够支撑预计日志量。

建议把检查结果分成“通过”“需要整改”“上线阻断”三类。证书即将过期、备份未验证、磁盘容量不足、生产凭据权限过大等问题,不应因为服务当前处于 Running 就视为通过。

生产日志平台上线前风险检查清单,从容量到故障恢复逐项验证

容量与生命周期是否闭环

日志容量检查至少要覆盖每日写入量、保留周期、分片规模、磁盘水位和副本成本。可以先计算规划容量:

C≈D×R×(1+N)×O×HC \approx D \times R \times (1+N) \times O \times H

其中 DD 是每日写入量,RR 是保留天数,NN 是副本数,OO 是索引开销系数,HH 是安全余量。生产环境不应只按当前一天的数据量估算,还要考虑突发流量和恢复过程产生的额外空间需求。

同时确认 ILM 或其他生命周期策略确实命中目标索引,检查 rollover、保留和删除动作是否符合预期。不要因为“已经配置了策略”就直接放行,必须验证现有索引实际使用了正确的数据流、别名或生命周期规则。

权限与证书是否真正可用

权限检查关注两个方向:服务账号是否只拥有完成工作所需的权限,以及运维人员是否仍保留必要的管理权限。重点检查 Elasticsearch、Kibana、Logstash、Filebeat 使用的凭据作用域,并避免把高权限管理员账号直接用于采集或查询服务。

证书检查不能只看文件存在,还要验证主机名、SAN、有效期和信任链。可直接从客户端发起 HTTPS 请求:

bash
curl --cacert <PATH>/ca.crt https://<HOST>:<PORT>/

预期结果

text
HTTP/1.1 200 OK

实际响应体和状态码可能因安全配置、访问权限及接口不同而变化;关键验证点是客户端能够用目标 CA 完成证书校验并建立 HTTPS 连接。证书临近过期、SAN 不匹配或 CA 不受信任,都应在上线前处理。

告警、备份与恢复是否经过实测

告警检查要验证“发生异常时能不能被发现”。至少覆盖磁盘水位、节点异常、未分配分片、采集链路中断和关键服务不可用。还要确认告警去重、恢复通知和通知渠道本身正常,避免告警系统失效后无人知晓。

备份检查不能停留在“快照仓库已配置”。应确认备份任务成功、快照能够查询,并至少做一次恢复演练。恢复验证关注的是:能否取得可用数据、恢复后的索引能否读取、权限与生命周期配置是否正确,而不是单纯看到一个成功状态。

用命令留下可复核证据

上线前可以把关键检查压缩成一次最小验证集:

bash
docker compose ps
docker compose logs --tail=50 elasticsearch kibana logstash filebeat
curl --cacert <PATH>/ca.crt https://<HOST>:<PORT>/
docker compose config >/tmp/elk-compose-<TIME>.yaml

预期结果

text
docker compose ps
# 关键服务处于预期状态,例如 running 或 healthy

 docker compose logs --tail=50 elasticsearch kibana logstash filebeat
# 能看到近期日志,且无持续启动失败、认证失败或连接失败

curl --cacert <PATH>/ca.crt https://<HOST>:<PORT>/
# HTTPS 连接成功,并返回目标服务响应

docker compose config >/tmp/elk-compose-<TIME>.yaml
# 命令成功退出,并生成展开后的最终 Compose 配置

其中 <TIME>、<PATH>、<HOST> 和 <PORT> 为实际环境值。检查结果应保存到发布记录中,尤其是容量计算、证书有效期、快照成功记录和恢复演练结果。

设置明确的上线阻断条件

上线前最后一步不是“确认大家都看过”,而是明确哪些问题必须先修复。建议把以下情况直接作为阻断项:无法建立受信任的 TLS 连接、关键账号权限无法解释、磁盘余量无法覆盖计划保留期、核心告警无法触达、备份不可恢复,或故障后没有经过验证的恢复路径。

当这些条件全部通过,再把当前版本、镜像或配置摘要、容量基线、证书期限、生命周期策略、告警状态和恢复演练结果一起归档。这样上线检查就不再是一张静态清单,而是一份能够支持后续排障、审计和回滚的运行基线。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

上线前逐项检查运行风险

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通