可观测性与稳定性 / 系统课时

整理日志平台上线检查清单

整理日志平台上线检查清单

集中日志平台能正常收到日志,只说明链路“跑通了”,并不等于可以上线。本节把格式、敏感信息、采集缓冲、Mapping、生命周期、磁盘容量和查询权限整理成一套发布前检查流程,目标是让每次新增服务或环境时都能按相同标准验收。

学习目标

  • 能从日志产生、采集、存储、保留到查询权限逐层检查上线风险。
  • 能为 Mapping、磁盘、缓冲和生命周期策略设置明确的验收条件。
  • 能执行一次最小上线验证,并把检查结果沉淀为可复用清单。

先把上线检查拆成几道闸门

不要只检查 Elasticsearch 或 OpenSearch 是否为 Green。真正的上线验收应覆盖整条链路,否则可能出现“集群正常,但日志不可用”的情况。

建议按以下顺序检查:

  1. 日志产生:字段是否稳定,时间、级别、服务名、环境、请求标识是否齐全。
  2. 安全处理:密码、Token、Cookie、身份证件、银行卡等敏感值是否被删除或脱敏。
  3. 日志采集:Agent 能否持续读取,网络异常时是否具备重试和缓冲能力。
  4. 索引写入:Mapping 是否受控,字段类型冲突是否会导致批量写入失败。
  5. 生命周期:索引能否按容量或时间滚动,历史数据是否按要求删除或归档。
  6. 容量保护:磁盘是否保留足够余量,增长异常时是否有告警。
  7. 访问控制:查询账号是否遵循最小权限原则,不同环境或业务的数据是否正确隔离。

这几道闸门应全部通过后再允许业务正式接入,而不是发现一项问题就先上线、以后再补。

检查日志格式与敏感字段

结构化日志最重要的是字段含义稳定。上线前至少抽查正常请求、业务失败、系统异常三类日志,确认相同语义始终使用同一个字段名和数据类型。例如 duration_ms 不应有时写整数、有时写字符串 timeout。

一条便于检索的应用日志通常至少应包含时间、级别、服务、环境和关联标识,例如:

json
{"timestamp":"<TIME>","level":"ERROR","service":"order-api","environment":"prod","request_id":"<ID>","message":"payment request failed","duration_ms":842}

这是日志数据结构示例,不需要产生固定控制台输出。验收时应在日志平台中确认这些字段已被解析为独立字段,而不是整行只保存在 message 中。

敏感字段应在进入集中平台之前处理。特别检查请求头、请求体、异常对象和调试日志,因为 Authorization、Cookie、密码、访问令牌等内容经常从这些位置意外进入日志。

检查采集、Mapping 与写入稳定性

日志 Agent 上线前要验证正常传输和异常恢复两个场景。除了确认日志能够送达,还应确认远端平台短暂不可用时不会立即丢日志。使用 Fluent Bit 等 Agent 时,需要核对重试策略、内存或文件系统缓冲、缓冲上限以及磁盘耗尽后的行为。

Mapping 则应避免完全依赖不可控的动态推断。关键字段应通过索引模板或等价机制明确类型,例如时间字段使用日期类型、耗时使用数值类型、需要精确过滤的标识符使用适合精确匹配的字段类型。

上线前还应主动制造至少一条边界数据,例如异常大的响应时间、缺失可选字段或包含特殊字符的消息,确认解析器与索引不会因此拒绝整批日志。

检查生命周期和磁盘容量

日志数据会持续增长,因此上线时必须同时决定“写到哪里”和“保存多久”。如果只创建索引而没有滚动与清理策略,平台通常会在运行一段时间后才暴露磁盘问题。

上线检查至少应回答这些问题:

  • 新索引何时滚动,是按时间、大小还是文档数量触发。
  • 不同日志类型分别保留多少天,是否存在法规或审计要求。
  • 删除策略是否真正关联到目标索引或索引模板。
  • 当前磁盘余量能否覆盖预计增长量以及故障恢复期间的额外副本。
  • 磁盘使用率、未分配分片和写入失败是否已经配置告警。

容量评估不要只使用当前一天的数据量。应至少考虑业务峰值、日志级别临时调高、故障时错误日志暴增以及副本带来的额外存储。

执行上线前最小验证

正式开放查询前,可以用集群健康和索引状态做一次基础验证。下面的命令适用于提供 Elasticsearch/OpenSearch 兼容接口的环境;如果启用了认证,请按平台要求给 curl 增加认证参数。

bash
LOG_ENDPOINT="http://<HOST>:<PORT>"

curl -fsS "$LOG_ENDPOINT/_cluster/health" 
curl -fsS "$LOG_ENDPOINT/_cat/indices?h=health,status,index,docs.count,store.size"

预期输出中的节点数、分片数、索引名和容量会随实际环境变化,例如:

text
{"cluster_name":"<ID>","status":"green","timed_out":false,"number_of_nodes":<ID>,"active_primary_shards":<ID>,"active_shards":<ID>,"relocating_shards":0,"initializing_shards":0,"unassigned_shards":0}
green open <INDEX> <DOCS_COUNT> <STORE_SIZE>

实际字段和值可能因 Elasticsearch、OpenSearch 版本及集群状态不同而变化。这里重点确认请求成功、目标索引存在,并进一步调查 red 状态、持续增加的未分配分片或异常的索引容量。

集群检查之后还应从业务侧产生一条带唯一 request_id 的测试请求,再到日志平台按该标识检索,确认应用日志、Agent 采集、解析、索引和查询整个链路全部生效。

把清单变成可重复的发布门槛

最终的上线清单不应只是文档,而应能给出明确的“通过”或“阻塞”结论。可以固定保留以下检查项:

  • 日志字段结构稳定,关键字段可以直接过滤和聚合。
  • 敏感字段已经删除、掩码或替换,不依赖查询侧隐藏。
  • Agent 重试与缓冲经过故障测试,恢复后能够继续发送积压日志。
  • 关键 Mapping 已受控,并验证过异常输入不会造成持续写入失败。
  • 索引滚动、保留和删除策略已经绑定并实际生效。
  • 磁盘有明确安全余量,并对容量增长和分片异常设置告警。
  • 普通查询账号只拥有需要的索引和查询权限,管理权限单独控制。
  • 能用唯一请求标识完成一次从业务请求到集中检索的端到端验证。

当这些项目可以在每次新服务、新环境和平台升级时重复执行,日志平台的上线验收就从一次性的人工确认,变成了可复制、可追踪的运维流程。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

整理日志平台上线检查清单

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通