可观测性与稳定性 / 系统课时

接入 Nginx Access Log

接入 Nginx Access Log

这一练习把 Nginx Access Log 变成 Fluent Bit 可直接读取的结构化事件,并验证客户端地址、URI、状态码、响应字节数和请求耗时都能稳定成为字段。这里采用 Nginx 直接输出 JSON,避免后续用复杂正则重新拆解一整行文本。

学习目标

  • 配置 Nginx 输出适合日志采集的 JSON Access Log
  • 使用 Fluent Bit Tail 输入读取文件并按 JSON 解析
  • 发起测试请求并验证关键字段和值是否正确进入采集链路

让 Nginx 直接写结构化日志

在 http 上下文中定义日志格式,并让目标 server 使用它。下面的 log_format 是配置片段示例,依赖现有 Nginx 主配置;location 也需要放进待测试的 server 中。

nginx
log_format access_json escape=json
    '{"time":"$time_iso8601",'
    '"client":"$remote_addr",'
    '"method":"$request_method",'
    '"uri":"$request_uri",'
    '"status":$status,'
    '"bytes":$body_bytes_sent,'
    '"request_time":$request_time}';

access_log /var/log/nginx/access.log access_json;

location = /log-check {
    return 204;
}

escape=json 会处理 URI 等变量中的特殊字符。status、bytes 和 request_time 保持数值形式,后续进入搜索引擎时更适合做范围过滤、聚合和耗时统计。

先检查配置再重载:

bash
sudo nginx -t && sudo nginx -s reload
curl -s -o /dev/null -w '%{http_code}\n' http://127.0.0.1/log-check

预期输出:

text
nginx: configuration file <PATH> syntax is ok
nginx: configuration file <PATH> test is successful
204

<PATH> 由实际 Nginx 安装位置决定,发行版不同可能不同。

配置 Fluent Bit 读取 Access Log

下面使用 Tail 输入读取文件,并用 JSON 解析器把每行日志展开为字段。示例输出到标准输出,先验证采集和解析正确,再替换成 Elasticsearch 或 OpenSearch 输出插件。

先创建一个专用解析器文件 /etc/fluent-bit/nginx-parsers.conf:

ini
[PARSER]
    Name   nginx_json
    Format json

然后在 Fluent Bit 主配置中加载它:

ini
[SERVICE]
    Flush        1
    Log_Level    info
    Parsers_File /etc/fluent-bit/nginx-parsers.conf

[INPUT]
    Name              tail
    Path              /var/log/nginx/access.log
    Tag               nginx.access
    Parser            nginx_json
    DB                /var/lib/fluent-bit/nginx-access.db
    Read_from_Head    false

[OUTPUT]
    Name   stdout
    Match  nginx.access

这里的 DB 用于记录文件偏移,Fluent Bit 重启后可以从已记录位置继续读取;运行 Fluent Bit 的用户必须能创建该数据库文件。Read_from_Head false 适合只关注接入后的新日志;若要首次导入历史文件,可以临时改为 true。

验证解析后的字段

保存配置后启动或重启 Fluent Bit,再访问测试地址:

bash
curl -s -o /dev/null http://127.0.0.1/log-check
sudo tail -n 1 /var/log/nginx/access.log

预期结果类似:

text
{"time":"<TIME>","client":"127.0.0.1","method":"GET","uri":"/log-check","status":204,"bytes":0,"request_time":0.000}

<TIME> 和 request_time 的实际值会随请求发生时间与执行耗时变化。随后查看 Fluent Bit 的标准输出,应能看到同一条记录已经按字段展开,而不是只剩一整个 message 字符串。

接入搜索集群前检查字段类型

写入搜索集群前,至少确认 status 与 bytes 是整数,request_time 是浮点数,client、method 与 uri 是字符串。若这些数值被双引号包成字符串,后续错误率、流量和延迟聚合会更难维护。

当 Nginx 文件中能持续出现合法 JSON,Fluent Bit 又能把每行解析成独立字段时,这条 Access Log 采集链路就具备了接入搜索集群的基础条件。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

接入 Nginx Access Log

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通