可观测性与稳定性 / 系统课时
怎样解析一条 Nginx Access Log
怎样解析一条 Nginx Access Log
一条 Nginx Access Log 看起来只是空格分隔的文本,但请求行、User-Agent 等字段内部也含空格,直接按空格切分很容易错位。本篇用一条包含请求耗时的访问日志,拆出客户端、请求、状态码、流量和耗时,并说明如何验证解析结果。
学习目标
- 识别 Access Log 中需要结构化的核心字段
- 用明确的日志格式和正则表达式完成一次可靠解析
- 判断解析失败通常来自格式不一致还是字段类型问题
先确定日志格式
解析日志之前必须先知道生产端实际使用的 log_format。同样是 Nginx Access Log,不同站点可能增加请求耗时、上游地址或追踪 ID;如果解析规则与输出格式不一致,再复杂的正则也无法稳定工作。
下面是一段 Nginx 配置片段示例,在常见访问字段之后增加 rt=$request_time:
log_format main_ext '$remote_addr - $remote_user [$time_local] "$request" '
'$status $body_bytes_sent "$http_referer" '
'"$http_user_agent" rt=$request_time';这是配置片段,需要放入 Nginx 的 http 上下文,并由 access_log 引用该格式。生效后可检查实际日志是否包含末尾的 rt=<秒数>,例如:
203.0.113.7 - - [17/Sep/2026:12:40:12 +0800] "GET /api/orders?id=42 HTTP/1.1" 200 512 "-" "curl/8.7.1" rt=0.083把一行文本拆成字段
这里使用 Python 标准库演示解析。关键点不是背正则,而是让每个捕获组与日志格式中的一个字段严格对应,同时把状态码、字节数和耗时转换成适合检索与聚合的数值类型。
import re
line = '203.0.113.7 - - [17/Sep/2026:12:40:12 +0800] "GET /api/orders?id=42 HTTP/1.1" 200 512 "-" "curl/8.7.1" rt=0.083'
pattern = re.compile(
r'^(?P<client_ip>\S+) - (?P<remote_user>\S+) '
r'\[(?P<time_local>[^]]+)\] '
r'"(?P<method>\S+) (?P<request_target>\S+) (?P<protocol>[^"]+)" '
r'(?P<status>\d{3}) (?P<bytes_sent>\d+) '
r'"(?P<referer>[^"]*)" "(?P<user_agent>[^"]*)" '
r'rt=(?P<request_time>\d+(?:\.\d+)?)$'
)
match = pattern.match(line)
if not match:
raise ValueError("access log format mismatch")
record = match.groupdict()
record["status"] = int(record["status"])
record["bytes_sent"] = int(record["bytes_sent"])
record["request_time"] = float(record["request_time"])
for key in ("client_ip", "method", "request_target", "status", "bytes_sent", "request_time"):
print(f"{key}={record[key]}")预期输出:
client_ip=203.0.113.7
method=GET
request_target=/api/orders?id=42
status=200
bytes_sent=512
request_time=0.083这样得到的 status 可以做状态码聚合,bytes_sent 可以统计响应流量,request_time 可以计算延迟分位数,而不必在查询时反复处理原始字符串。
为什么不能直接按空格切分
请求行包含方法、目标地址和协议,User-Agent 也经常包含多个空格。如果直接执行 line.split(),字段位置会随着 User-Agent 内容变化。带引号和方括号的边界信息必须由解析器显式识别,这也是 Grok、正则和专用日志解析器存在的原因。
另一个常见问题是类型没有转换。字符串形式的 "500" 虽然能显示,却不适合范围查询;耗时 "0.083" 如果仍是字符串,也不能正确计算平均值和百分位数。结构化后应尽早确定字段类型。
解析失败时怎么定位
先从生产端拿一条真实原始日志,与当前 log_format 逐段对照,而不是直接修改正则。重点检查是否新增了字段、引号是否存在、缺失值使用 - 还是空字符串,以及请求耗时等扩展字段是否真的启用。
当解析规则、字段类型和原始格式保持一致后,Access Log 就从一段难以统计的文本变成可以按客户端、请求、状态码、流量和耗时直接检索与聚合的结构化事件。