可观测性与稳定性 / 系统课时
日志突然消失从哪一层查起
日志突然消失从哪一层查起
日志突然不再进入 Elasticsearch 时,最忌讳直接反复重启组件。应该沿着“应用产生 → 文件落盘 → 采集器读取 → 处理器转发 → Elasticsearch 接收”逐层验证,先确定最后一个正常节点,再集中处理故障层。
学习目标
- 能按数据链路定位日志究竟从哪一层开始中断
- 能区分“没有产生”“没有采到”“没有转发”和“没有写入”
- 能用命令快速验证文件、采集器、处理器和 Elasticsearch
先判断最后一个正常点
把日志链路看成一条数据流。应用日志文件存在,只能证明应用可能仍在产生日志;Filebeat 进程正常,也不能证明它已经读到最新内容;Elasticsearch 可访问,同样不能证明目标索引正在接收文档。
因此排查顺序应从源头向下游推进,每一层只回答一个问题:这一层还能看到目标日志吗? 一旦某层无法通过验证,就先停在这里处理,而不是同时修改后面的配置。
从应用和文件开始
先确认业务请求确实产生了日志,再检查文件是否持续增长。对于文件采集场景,可以直接观察最近几行和文件更新时间。
APP_LOG="<PATH>"
echo "== recent log =="
tail -n 5 "$APP_LOG"
echo "== file status =="
stat "$APP_LOG"
echo "== last update =="
stat -c '%y %s bytes' "$APP_LOG"预期结果
== recent log ==
2026-09-20T16:10:01Z INFO request completed
2026-09-20T16:10:03Z INFO request completed
...
== file status ==
File: <PATH>
Size: <SIZE> blocks: <BLOCKS> IO Block: <BLOCK_SIZE> regular file
== last update ==
<TIME> <SIZE> bytes如果文件内容和大小都没有变化,优先回到应用侧检查日志级别、输出路径、进程状态和日志轮转;如果文件持续增长,再继续检查采集器。实际路径和时间会因环境不同而变化。
检查采集器是否读到文件
Filebeat 需要同时验证进程、输出配置和运行日志。进程存在只能说明服务活着,不能证明 input 已经采到事件;filebeat test output 则用于检查它能否连接配置的输出端。
sudo systemctl is-active filebeat
sudo filebeat test output
sudo journalctl -u filebeat --since "10 minutes ago" --no-pager | tail -n 30预期结果
active
elasticsearch: <ELASTICSEARCH_URL>...
parse url... OK
connection... OK
talk to server... OK如果应用日志在增长,但 Filebeat 日志出现权限错误、读取失败或输出连接失败,就先处理采集器这一层。常见边界包括文件属主权限、路径写错、轮转后的文件身份变化,以及输出端不可达。
再看处理器和 Elasticsearch
若采集器能够读取,但 Elasticsearch 仍没有新文档,就继续确认 Logstash 是否收到事件,以及 Elasticsearch 是否能正常响应。不要直接把“接口返回 200”当成日志已经写入目标索引的证据。
ELASTICSEARCH_URL="https://<HOST>:<PORT>"
INDEX_PATTERN="logs-*"
curl -sS -o /dev/null -w '%{http_code}\n' "$ELASTICSEARCH_URL/"
curl -sS "$ELASTICSEARCH_URL/_cat/indices/$INDEX_PATTERN?v"
sudo journalctl -u logstash --since "10 minutes ago" --no-pager | tail -n 30预期结果
200
health status index docs.count store.size
...这里的三个结果需要结合起来看:Elasticsearch 根接口返回 200,只说明 HTTP 请求得到成功响应;目标索引存在并且文档数量持续增长,才能证明存储层正在接收数据;如果 Logstash 日志显示连接、解析或输出失败,故障点通常位于处理器与下游之间。查询参数和实际索引名应替换为你的环境值。
找到断点后再修复
最有效的定位方式是记录每层的“最后正常时间”。例如应用 16:05 之后停止写文件,而 Filebeat、Logstash 和 Elasticsearch 都仍然正常,那么故障范围就已经从整条链路缩小到应用日志产生或落盘;反过来,文件持续增长但 Filebeat 没有新的事件,则不必先改 Elasticsearch。
排查日志消失时,最终目标不是证明每个服务都在运行,而是找出第一个从“有日志”变成“没有日志”的边界。一旦断点明确,后续修复通常会比盲目重启整套 ELK 更快、更安全。