Web 服务器与网关 / 系统课时
怎样从日志找最慢请求
怎样从日志找最慢请求
日志按发生时间排列,最慢请求不会自动排在最后。本篇记录 request_time,用逐行 JSON 和数值排序找出高耗时记录,再处理无效值与异常状态,避免按字符串排序或只筛选成功响应漏掉问题。
学习目标
- 为访问日志增加可解析的请求耗时。
- 按数值找出慢请求并保留方法、路径和状态。
- 跳过损坏或缺失记录,区分慢请求样本与整体性能指标。
先确保记录了正确字段
以下片段示例放入 Nginx 1.28 的 http,依赖本机空闲 8080 和已创建、Master 可写的 /tmp/nginx-slow-lab 目录:
log_format slow_json escape=json
'{"method":"$request_method","uri":"$uri",'
'"status":"$status","rt":"$request_time"}';
server {
listen 127.0.0.1:8080;
server_name slow.test;
access_log /tmp/nginx-slow-lab/access.ndjson slow_json;
location / { return 200 "ok\n"; }
}配置检查、重载并访问该实验站后,每条完整记录应具有 rt 秒数字符串。这个固定响应站只用于验证格式,不会稳定产生慢请求。request_time 从读到客户端最初字节到发送响应并写日志,包含客户端收发影响;它不是后端 CPU 时间。
用固定样本验证排序算法
在新的实验工作目录执行以下命令,创建单独的 fixture.ndjson;不要用样本覆盖真实访问日志:
cat > fixture.ndjson <<'JSON'
{"method":"GET","uri":"/fast","status":"200","rt":"0.200"}
{"method":"GET","uri":"/report","status":"200","rt":"10.000"}
{"method":"POST","uri":"/checkout","status":"504","rt":"2.500"}
{"method":"GET","uri":"/missing","status":"404","rt":"-"}
broken-line
JSON预期结果:文件含五行,其中两行不具有可排序的有效时间。10 与 2.5 必须按数值比较;字典序可能把 2 排到 10 前面。
逐行解析并输出最慢样本
以下完整 Python 3 程序保存为 slowest.py,用 python3 slowest.py fixture.ndjson 执行:
import json
import math
import sys
rows = []
skipped = 0
with open(sys.argv[1], encoding="utf-8") as source:
for line in source:
try:
row = json.loads(line)
rt = float(row["rt"])
if not math.isfinite(rt) or rt < 0:
raise ValueError("invalid duration")
rows.append((rt, row))
except (ValueError, KeyError, TypeError):
skipped += 1
rows.sort(key=lambda item: item[0], reverse=True)
for rt, row in rows[:20]:
uri = json.dumps(row.get("uri", "?"), ensure_ascii=False)
print(f"{rt:.3f}s {row.get('method', '?')} {uri} status={row.get('status', '?')}")
print(f"skipped={skipped}", file=sys.stderr)预期标准输出:
10.000s GET "/report" status=200
2.500s POST "/checkout" status=504
0.200s GET "/fast" status=200标准错误输出为 skipped=2。URI 以 JSON 字符串形式输出,保留转义,便于辨认包含特殊字符的路径。该示例将记录保存在内存,适合小文件;大规模日志应采用流式 Top K、分块处理或日志分析系统。
从少量样本走向真实排查
把参数改成真实 access.ndjson 前,先读取一个已轮转或稳定的副本,保留损坏行计数。只列出 200 会漏掉很慢的 499、502、504;按路径、方法、状态、时间窗口与请求标识继续定位,不能只盯一个最大值。
Top 20 不是 P95、P99,也不能说明每个接口都慢。分位数需要完整且定义清楚的样本窗口;不同接口、响应大小和客户端群体应分别比较。变量定义可核对 Nginx request_time。
找到高耗时记录后,再结合上游时间、错误日志和应用追踪解释原因。不要把包含敏感参数的原始日志直接发到公开渠道,也不要为了排序方便擅自丢弃异常状态。