可观测性与稳定性 / 系统课时

Java 堆栈多行日志怎么合并

Java 堆栈多行日志怎么合并

Java 异常通常由异常首行、调用栈和 Caused by 等多行组成。如果 Filebeat 把每一行都发送成独立事件,Elasticsearch 中就无法完整检索一次异常。本节用 Filebeat 的 filestream multiline parser,把同一段堆栈在采集端合并成一个事件。

学习目标

  • 理解 Java 堆栈为什么会被拆成多个事件
  • 配置 Filebeat 多行规则,让续行归入异常首行
  • 用 Filebeat 自检和输出结果验证合并是否正确

先确定事件边界

假设应用日志的正常事件都以日期时间开头,而 Java 堆栈中的 java.、at、Caused by 等续行不以时间开头。此时最稳定的判断不是枚举所有堆栈格式,而是定义:以时间开头的行创建新事件,其余行追加到上一事件。

Java 多行日志合并流程

配置 filestream 多行解析

下面是可直接放入 filebeat.yml 的核心配置。示例日志时间格式为 2026-09-20 10:15:30.123,因此正则只需要识别行首日期和时间。

yaml
filebeat.inputs:
  - type: filestream
    id: java-app
    enabled: true
    paths:
      - /var/log/myapp/app.log
    parsers:
      - multiline:
          type: pattern
          pattern: '^\d{4}-\d{2}-\d{2} \d{2}:\d{2}:\d{2}'
          negate: true
          match: after

output.console:
  pretty: true

这里 negate: true 表示匹配条件取反,因此不以时间戳开头的行才属于 multiline;match: after 则把这些行附加到前一个事件。实际项目必须按自己的日志前缀调整正则,不能直接假设所有 Java 日志都使用这一时间格式。

配置文件属于配置示例,不要求产生固定控制台输出。保存后先检查语法和配置有效性:

bash
filebeat test config -c <PATH>/filebeat.yml

预期输出:

text
Config OK

<PATH> 替换为实际配置目录。

验证堆栈是否成为一个事件

准备一段测试日志,其中第二行开始都不带时间戳:

text
2026-09-20 10:15:30.123 ERROR OrderService - create order failed
java.lang.IllegalStateException: inventory unavailable
    at com.example.OrderService.create(OrderService.java:42)
    at com.example.OrderController.create(OrderController.java:31)
Caused by: java.lang.RuntimeException: timeout
    at com.example.InventoryClient.reserve(InventoryClient.java:18)
2026-09-20 10:15:31.000 INFO OrderService - request finished

以前台方式启动 Filebeat,让事件写到控制台:

bash
filebeat -e -c <PATH>/filebeat.yml

预期结果是第一条输出事件的 message 同时包含 ERROR 首行、异常类型、两个 at 行、Caused by 和最后一个 at 行;下一条 INFO 日志成为新的事件。Filebeat 自身附加的元数据和时间字段会随版本、环境而不同,因此不应依赖固定 JSON 字段值判断成功。

避免把规则写得过于具体

只匹配 ^\s+at 看似能识别堆栈,却可能遗漏 Caused by:、Suppressed: 或异常消息。只要应用日志有稳定的事件首行格式,优先识别“新事件从哪里开始”,通常比枚举所有续行形式更可靠。

上线前用真实日志样本验证普通 INFO、单行 ERROR、多层 Caused by 和连续异常。判断标准只有一个:一次逻辑日志在下游应对应一个事件,同时下一条带时间戳的日志不能被误并入前一个异常。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

Java 堆栈多行日志怎么合并

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通