可观测性与稳定性 / 系统课时

怎样解析一条 Nginx Access Log

怎样解析一条 Nginx Access Log

一条 Nginx Access Log 看起来只是空格分隔的文本,但请求行、User-Agent 等字段内部也含空格,直接按空格切分很容易错位。本篇用一条包含请求耗时的访问日志,拆出客户端、请求、状态码、流量和耗时,并说明如何验证解析结果。

学习目标

  • 识别 Access Log 中需要结构化的核心字段
  • 用明确的日志格式和正则表达式完成一次可靠解析
  • 判断解析失败通常来自格式不一致还是字段类型问题

先确定日志格式

解析日志之前必须先知道生产端实际使用的 log_format。同样是 Nginx Access Log,不同站点可能增加请求耗时、上游地址或追踪 ID;如果解析规则与输出格式不一致,再复杂的正则也无法稳定工作。

下面是一段 Nginx 配置片段示例,在常见访问字段之后增加 rt=$request_time:

text
log_format main_ext '$remote_addr - $remote_user [$time_local] "$request" '
                    '$status $body_bytes_sent "$http_referer" '
                    '"$http_user_agent" rt=$request_time';

这是配置片段,需要放入 Nginx 的 http 上下文,并由 access_log 引用该格式。生效后可检查实际日志是否包含末尾的 rt=<秒数>,例如:

text
203.0.113.7 - - [17/Sep/2026:12:40:12 +0800] "GET /api/orders?id=42 HTTP/1.1" 200 512 "-" "curl/8.7.1" rt=0.083

把一行文本拆成字段

这里使用 Python 标准库演示解析。关键点不是背正则,而是让每个捕获组与日志格式中的一个字段严格对应,同时把状态码、字节数和耗时转换成适合检索与聚合的数值类型。

python
import re

line = '203.0.113.7 - - [17/Sep/2026:12:40:12 +0800] "GET /api/orders?id=42 HTTP/1.1" 200 512 "-" "curl/8.7.1" rt=0.083'

pattern = re.compile(
    r'^(?P<client_ip>\S+) - (?P<remote_user>\S+) '
    r'\[(?P<time_local>[^]]+)\] '
    r'"(?P<method>\S+) (?P<request_target>\S+) (?P<protocol>[^"]+)" '
    r'(?P<status>\d{3}) (?P<bytes_sent>\d+) '
    r'"(?P<referer>[^"]*)" "(?P<user_agent>[^"]*)" '
    r'rt=(?P<request_time>\d+(?:\.\d+)?)$'
)

match = pattern.match(line)
if not match:
    raise ValueError("access log format mismatch")

record = match.groupdict()
record["status"] = int(record["status"])
record["bytes_sent"] = int(record["bytes_sent"])
record["request_time"] = float(record["request_time"])

for key in ("client_ip", "method", "request_target", "status", "bytes_sent", "request_time"):
    print(f"{key}={record[key]}")

预期输出:

text
client_ip=203.0.113.7
method=GET
request_target=/api/orders?id=42
status=200
bytes_sent=512
request_time=0.083

这样得到的 status 可以做状态码聚合,bytes_sent 可以统计响应流量,request_time 可以计算延迟分位数,而不必在查询时反复处理原始字符串。

为什么不能直接按空格切分

请求行包含方法、目标地址和协议,User-Agent 也经常包含多个空格。如果直接执行 line.split(),字段位置会随着 User-Agent 内容变化。带引号和方括号的边界信息必须由解析器显式识别,这也是 Grok、正则和专用日志解析器存在的原因。

另一个常见问题是类型没有转换。字符串形式的 "500" 虽然能显示,却不适合范围查询;耗时 "0.083" 如果仍是字符串,也不能正确计算平均值和百分位数。结构化后应尽早确定字段类型。

解析失败时怎么定位

先从生产端拿一条真实原始日志,与当前 log_format 逐段对照,而不是直接修改正则。重点检查是否新增了字段、引号是否存在、缺失值使用 - 还是空字符串,以及请求耗时等扩展字段是否真的启用。

当解析规则、字段类型和原始格式保持一致后,Access Log 就从一段难以统计的文本变成可以按客户端、请求、状态码、流量和耗时直接检索与聚合的结构化事件。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

怎样解析一条 Nginx Access Log

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通