可观测性与稳定性 / 系统课时
接入 Nginx Access Log
接入 Nginx Access Log
这一练习把 Nginx Access Log 变成 Fluent Bit 可直接读取的结构化事件,并验证客户端地址、URI、状态码、响应字节数和请求耗时都能稳定成为字段。这里采用 Nginx 直接输出 JSON,避免后续用复杂正则重新拆解一整行文本。
学习目标
- 配置 Nginx 输出适合日志采集的 JSON Access Log
- 使用 Fluent Bit Tail 输入读取文件并按 JSON 解析
- 发起测试请求并验证关键字段和值是否正确进入采集链路
让 Nginx 直接写结构化日志
在 http 上下文中定义日志格式,并让目标 server 使用它。下面的 log_format 是配置片段示例,依赖现有 Nginx 主配置;location 也需要放进待测试的 server 中。
log_format access_json escape=json
'{"time":"$time_iso8601",'
'"client":"$remote_addr",'
'"method":"$request_method",'
'"uri":"$request_uri",'
'"status":$status,'
'"bytes":$body_bytes_sent,'
'"request_time":$request_time}';
access_log /var/log/nginx/access.log access_json;
location = /log-check {
return 204;
}escape=json 会处理 URI 等变量中的特殊字符。status、bytes 和 request_time 保持数值形式,后续进入搜索引擎时更适合做范围过滤、聚合和耗时统计。
先检查配置再重载:
sudo nginx -t && sudo nginx -s reload
curl -s -o /dev/null -w '%{http_code}\n' http://127.0.0.1/log-check预期输出:
nginx: configuration file <PATH> syntax is ok
nginx: configuration file <PATH> test is successful
204<PATH> 由实际 Nginx 安装位置决定,发行版不同可能不同。
配置 Fluent Bit 读取 Access Log
下面使用 Tail 输入读取文件,并用 JSON 解析器把每行日志展开为字段。示例输出到标准输出,先验证采集和解析正确,再替换成 Elasticsearch 或 OpenSearch 输出插件。
先创建一个专用解析器文件 /etc/fluent-bit/nginx-parsers.conf:
[PARSER]
Name nginx_json
Format json然后在 Fluent Bit 主配置中加载它:
[SERVICE]
Flush 1
Log_Level info
Parsers_File /etc/fluent-bit/nginx-parsers.conf
[INPUT]
Name tail
Path /var/log/nginx/access.log
Tag nginx.access
Parser nginx_json
DB /var/lib/fluent-bit/nginx-access.db
Read_from_Head false
[OUTPUT]
Name stdout
Match nginx.access这里的 DB 用于记录文件偏移,Fluent Bit 重启后可以从已记录位置继续读取;运行 Fluent Bit 的用户必须能创建该数据库文件。Read_from_Head false 适合只关注接入后的新日志;若要首次导入历史文件,可以临时改为 true。
验证解析后的字段
保存配置后启动或重启 Fluent Bit,再访问测试地址:
curl -s -o /dev/null http://127.0.0.1/log-check
sudo tail -n 1 /var/log/nginx/access.log预期结果类似:
{"time":"<TIME>","client":"127.0.0.1","method":"GET","uri":"/log-check","status":204,"bytes":0,"request_time":0.000}<TIME> 和 request_time 的实际值会随请求发生时间与执行耗时变化。随后查看 Fluent Bit 的标准输出,应能看到同一条记录已经按字段展开,而不是只剩一整个 message 字符串。
接入搜索集群前检查字段类型
写入搜索集群前,至少确认 status 与 bytes 是整数,request_time 是浮点数,client、method 与 uri 是字符串。若这些数值被双引号包成字符串,后续错误率、流量和延迟聚合会更难维护。
当 Nginx 文件中能持续出现合法 JSON,Fluent Bit 又能把每行解析成独立字段时,这条 Access Log 采集链路就具备了接入搜索集群的基础条件。