可观测性与稳定性 / 系统课时

日志突然消失从哪一层查起

日志突然消失从哪一层查起

日志突然不再进入 Elasticsearch 时,最忌讳直接反复重启组件。应该沿着“应用产生 → 文件落盘 → 采集器读取 → 处理器转发 → Elasticsearch 接收”逐层验证,先确定最后一个正常节点,再集中处理故障层。

学习目标

  • 能按数据链路定位日志究竟从哪一层开始中断
  • 能区分“没有产生”“没有采到”“没有转发”和“没有写入”
  • 能用命令快速验证文件、采集器、处理器和 Elasticsearch

先判断最后一个正常点

把日志链路看成一条数据流。应用日志文件存在,只能证明应用可能仍在产生日志;Filebeat 进程正常,也不能证明它已经读到最新内容;Elasticsearch 可访问,同样不能证明目标索引正在接收文档。

因此排查顺序应从源头向下游推进,每一层只回答一个问题:这一层还能看到目标日志吗? 一旦某层无法通过验证,就先停在这里处理,而不是同时修改后面的配置。

从应用和文件开始

先确认业务请求确实产生了日志,再检查文件是否持续增长。对于文件采集场景,可以直接观察最近几行和文件更新时间。

bash
APP_LOG="<PATH>"
echo "== recent log =="
tail -n 5 "$APP_LOG"
echo "== file status =="
stat "$APP_LOG"
echo "== last update =="
stat -c '%y %s bytes' "$APP_LOG"

预期结果

text
== recent log ==
2026-09-20T16:10:01Z INFO request completed
2026-09-20T16:10:03Z INFO request completed
...
== file status ==
  File: <PATH>
  Size: <SIZE> blocks: <BLOCKS> IO Block: <BLOCK_SIZE> regular file
== last update ==
<TIME> <SIZE> bytes

如果文件内容和大小都没有变化,优先回到应用侧检查日志级别、输出路径、进程状态和日志轮转;如果文件持续增长,再继续检查采集器。实际路径和时间会因环境不同而变化。

检查采集器是否读到文件

Filebeat 需要同时验证进程、输出配置和运行日志。进程存在只能说明服务活着,不能证明 input 已经采到事件;filebeat test output 则用于检查它能否连接配置的输出端。

bash
sudo systemctl is-active filebeat
sudo filebeat test output
sudo journalctl -u filebeat --since "10 minutes ago" --no-pager | tail -n 30

预期结果

text
active
elasticsearch: <ELASTICSEARCH_URL>...
  parse url... OK
  connection... OK
  talk to server... OK

如果应用日志在增长,但 Filebeat 日志出现权限错误、读取失败或输出连接失败,就先处理采集器这一层。常见边界包括文件属主权限、路径写错、轮转后的文件身份变化,以及输出端不可达。

再看处理器和 Elasticsearch

若采集器能够读取,但 Elasticsearch 仍没有新文档,就继续确认 Logstash 是否收到事件,以及 Elasticsearch 是否能正常响应。不要直接把“接口返回 200”当成日志已经写入目标索引的证据。

bash
ELASTICSEARCH_URL="https://<HOST>:<PORT>"
INDEX_PATTERN="logs-*"
curl -sS -o /dev/null -w '%{http_code}\n' "$ELASTICSEARCH_URL/"
curl -sS "$ELASTICSEARCH_URL/_cat/indices/$INDEX_PATTERN?v"
sudo journalctl -u logstash --since "10 minutes ago" --no-pager | tail -n 30

预期结果

text
200
health status index docs.count store.size
...

这里的三个结果需要结合起来看:Elasticsearch 根接口返回 200,只说明 HTTP 请求得到成功响应;目标索引存在并且文档数量持续增长,才能证明存储层正在接收数据;如果 Logstash 日志显示连接、解析或输出失败,故障点通常位于处理器与下游之间。查询参数和实际索引名应替换为你的环境值。

找到断点后再修复

最有效的定位方式是记录每层的“最后正常时间”。例如应用 16:05 之后停止写文件,而 Filebeat、Logstash 和 Elasticsearch 都仍然正常,那么故障范围就已经从整条链路缩小到应用日志产生或落盘;反过来,文件持续增长但 Filebeat 没有新的事件,则不必先改 Elasticsearch。

排查日志消失时,最终目标不是证明每个服务都在运行,而是找出第一个从“有日志”变成“没有日志”的边界。一旦断点明确,后续修复通常会比盲目重启整套 ELK 更快、更安全。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

日志突然消失从哪一层查起

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通