可观测性与稳定性 / 系统课时

Parser 怎样把一行日志拆成字段

Parser 怎样把一行日志拆成字段

应用日志如果始终只是 message 里的长字符串,后续就很难按级别、服务或耗时过滤与聚合。Fluent Bit 的 Parser 会按指定格式解析每条记录,把一行文本变成有名称、有类型的字段;本篇用正则 Parser 完成一次可运行的拆分与验证。

学习目标

  • 理解 Parser 在采集链路中的作用,以及结构化字段为什么更适合检索与聚合。
  • 编写带命名捕获组和类型转换的正则 Parser。
  • 运行 Fluent Bit,验证原始日志被拆成预期字段。

Parser 实际做了什么

Parser 的输入是一段文本,输出仍是一条日志记录,只是记录里出现了可单独访问的字段。比如 2026-09-17T12:30:00 INFO service=checkout request_id=42 duration_ms=17 message=paid 可以拆成 time、level、service、request_id、duration_ms 和 message。

对于正则 Parser,(?<name>...) 这样的命名捕获组决定字段名。默认捕获结果是字符串;需要对数字做范围查询或聚合时,可以用 Types 转成整数等类型。Time_Key、Time_Format 和 Time_Keep 则用于识别并保留日志里的时间字段。

定义正则 Parser

先创建 parsers.conf。这个 Parser 假设字段顺序稳定,适合格式固定的文本日志。

ini
[PARSER]
    Name        app_regex
    Format      regex
    Regex       ^(?<time>[0-9]{4}-[0-9]{2}-[0-9]{2}T[0-9]{2}:[0-9]{2}:[0-9]{2}) (?<level>[A-Z]+) service=(?<service>[^ ]+) request_id=(?<request_id>[0-9]+) duration_ms=(?<duration_ms>[0-9]+) message=(?<message>.*)$
    Time_Key    time
    Time_Format %Y-%m-%dT%H:%M:%S
    Time_Keep   On
    Types       request_id:integer duration_ms:integer

再创建 fluent-bit.conf,让标准输入插件直接调用这个 Parser。标准输入结束后,Fluent Bit 会刷新待输出记录并退出,适合本地验证。

ini
[SERVICE]
    Parsers_File parsers.conf

[INPUT]
    Name   stdin
    Tag    app
    Parser app_regex

[OUTPUT]
    Name  stdout
    Match app

运行并验证字段

把一条原始日志通过管道送入 Fluent Bit:

bash
printf '%s\n' '2026-09-17T12:30:00 INFO service=checkout request_id=42 duration_ms=17 message=paid' | fluent-bit -c fluent-bit.conf

预期结果

json
{"time":"2026-09-17T12:30:00","level":"INFO","service":"checkout","request_id":42,"duration_ms":17,"message":"paid"}

stdout 插件会在记录外层显示事件时间等信息,不同版本的外层格式可能不同;验收重点是上述六个字段都出现,并且 request_id、duration_ms 是数值而不是字符串。

解析失败时看哪里

正则 Parser 不会自动适配格式变化。只要日志顺序改变、分隔符不同,或必填字段缺失,整条正则就可能无法匹配。排查时先拿一条真实原始日志与 Regex 从头到尾逐段对照,再确认 Time_Format 是否与时间文本完全一致。

如果应用原生就能输出 JSON,优先使用 JSON Parser,而不是先打印文本再写复杂正则。Parser 的价值是尽早得到稳定字段,让后续 Filter、索引和聚合都基于明确的数据结构。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

Parser 怎样把一行日志拆成字段

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通