可观测性与稳定性 / 系统课时

Filter 能在采集过程中做什么

Filter 能在采集过程中做什么

日志解析成字段后,通常还要在发送前补充服务、环境和主机等上下文,并删除调试字段或冗余字段。Fluent Bit 的 Filter 位于输入与输出之间,可以按标签匹配并修改记录;本篇用 modify Filter 完成一次字段补充、清理和结果验证。

学习目标

  • 理解 Filter 在 Fluent Bit 数据链路中的位置与执行顺序。
  • 使用 modify Filter 覆盖上下文字段并删除不需要的字段。
  • 运行配置,确认过滤后的记录满足发送前的数据约定。

Filter 改的是流经管道的记录

一条记录先由 Input 产生,必要时经过 Parser 结构化,然后按配置顺序依次通过匹配它的 Filter,最后交给 Output。Filter 不负责永久保存数据,它只对当前流经 Fluent Bit 的记录做变换。

modify Filter 的 Set 会写入字段,并在同名字段已存在时覆盖旧值;Remove 会在字段存在时删除它。多个规则按照配置出现的顺序执行,因此后面的规则看到的是前面规则处理后的记录。

补充服务信息并清理字段

下面的 fluent-bit.conf 从标准输入读取 JSON,写入三个由环境变量提供的上下文字段,再删除 debug_context。选择 Set 是为了让采集侧统一定义这些元数据。

ini
[INPUT]
    Name stdin
    Tag  app

[FILTER]
    Name  modify
    Match app
    Set   service ${SERVICE_NAME}
    Set   environment ${DEPLOY_ENV}
    Set   host ${HOSTNAME}
    Remove debug_context

[OUTPUT]
    Name  stdout
    Match app

Fluent Bit 配置值可以引用 ${NAME} 形式的环境变量。这样同一份配置可以在不同服务、环境和主机上复用,而不用把部署信息写死。

运行并检查最终记录

用 env 为本次进程设置确定值,再把一条 JSON 日志送入标准输入:

bash
printf '%s\n' '{"message":"checkout ok","debug_context":"trace=abc","user_id":42}' | env SERVICE_NAME=checkout DEPLOY_ENV=prod HOSTNAME=node-a fluent-bit -c fluent-bit.conf

预期结果

json
{"message":"checkout ok","user_id":42,"service":"checkout","environment":"prod","host":"node-a"}

实际 stdout 输出会带事件时间等外层信息,字段顺序也不保证一致。验收时检查三点即可:service、environment、host 已出现,debug_context 已消失,原有 message 与 user_id 仍保留。

什么时候要谨慎使用 Set 和 Remove

Set 会覆盖同名字段。如果必须保留应用自身上报的 service,就不应直接覆盖,而要先决定应用字段与采集字段各自的命名约定。删除字段前也要确认下游告警、检索和审计是否依赖它。

Filter 最适合做轻量、确定的日志整形。复杂业务计算、跨记录关联或需要外部状态的逻辑不应塞进采集端;让 Fluent Bit 专注于标准化与转发,更容易保持吞吐和配置可维护性。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

Filter 能在采集过程中做什么

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通