可观测性与稳定性 / 系统课时
用 Fluent Bit 读取日志文件
用 Fluent Bit 读取日志文件
本节把 Fluent Bit 配成一个最小可验证的文件采集器:Tail 输入持续读取指定日志文件,状态文件记录读取位置,stdout 输出把采集结果直接打印到终端。完成后,你可以亲自追加一行日志并确认 Agent 收到了它。
学习目标
- 配置 Fluent Bit Tail 输入读取指定日志文件
- 理解
path、db、read_from_head与refresh_interval的作用 - 通过追加新日志和检查 stdout 输出验证持续采集
准备日志路径与配置
下面示例假设 Linux 主机已经安装 fluent-bit,并且命令位于 PATH。先创建 /tmp/fluent-bit-demo 目录,再把以下内容保存为 /tmp/fluent-bit-demo/fluent-bit.yaml。
service:
flush: 1
log_level: error
pipeline:
inputs:
- name: tail
tag: app.log
path: /tmp/fluent-bit-demo/app.log
db: /tmp/fluent-bit-demo/tail.db
read_from_head: false
refresh_interval: 1
outputs:
- name: stdout
match: app.log这份配置的输入插件是 tail。path 指定要监控的文件;db 保存已读取位置,便于进程重启后继续跟踪;read_from_head: false 表示没有已有位置时从文件尾部开始观察;refresh_interval: 1 让测试时更快发现文件变化。输出先用 stdout,目的是把“是否读到新行”直接变成可见结果。
tag 给输入记录打上 app.log 标签,输出端的 match 只接收这个标签。以后增加多个输入与输出时,标签就是最基本的路由边界。
运行一次完整验证
下面是片段示例,依赖上一节配置已经保存为 /tmp/fluent-bit-demo/fluent-bit.yaml,并假设本机可直接执行 fluent-bit。命令会启动 Fluent Bit、追加一条新日志、停止进程,再从采集输出中提取这条记录。
set -e
workdir=/tmp/fluent-bit-demo
mkdir -p "$workdir"
: > "$workdir/app.log"
rm -f "$workdir/tail.db" "$workdir/fluent-bit.out"
fluent-bit -c "$workdir/fluent-bit.yaml" > "$workdir/fluent-bit.out" 2>&1 &
pid=$!
trap 'kill "$pid" 2>/dev/null || true' EXIT
sleep 2
printf '%s\n' 'order_id=1002 status=paid' >> "$workdir/app.log"
sleep 2
kill "$pid" 2>/dev/null || true
wait "$pid" 2>/dev/null || true
trap - EXIT
grep -o 'order_id=1002 status=paid' "$workdir/fluent-bit.out"预期输出
order_id=1002 status=paid实际 Fluent Bit 输出中还会包含记录时间、标签等包装信息,因此示例最后用 grep 只提取业务日志正文。时间等动态字段在不同运行中会变化,不应拿它们做固定值断言。
状态文件为什么重要
Tail 输入不是每次启动都重新扫描整份文件。配置 db 后,Fluent Bit 会为被跟踪文件保存读取进度。生产环境中,这能降低 Agent 重启后重复读取历史日志的风险,也让持续采集更接近“从上次位置继续”。
状态文件必须放在 Agent 可写、且生命周期合适的位置。若把它放进每次重启都会清空的临时目录,重启后的读取行为就失去了连续性。本节使用 /tmp 只是为了方便实验,生产环境应改成持久化目录并设置合适权限。
读不到新日志时怎么查
先确认文件确实在增长,而不是只看 Fluent Bit 有没有报错。可以检查目标路径是否拼写正确、运行 Fluent Bit 的用户是否有读取权限,以及配置中的 tag 是否能匹配输出端的 match。
如果文件已经有大量历史内容,而你只想采集启动之后的新行,应保留从尾部开始的行为;如果实验目标是把现有内容全部读一遍,则可以改为 read_from_head: true。修改后最好同时删除本实验的 tail.db,否则已有偏移会优先决定从哪里继续读取。
当 stdout 验证稳定后,再把输出替换成真实集中日志后端。这样排错顺序会更简单:先证明“文件能读到”,再处理“网络能不能发出去”,避免把输入问题和远端连接问题混在一起。