Web 服务器与网关 / 系统课时

怎样从日志找最慢请求

怎样从日志找最慢请求

日志按发生时间排列,最慢请求不会自动排在最后。本篇记录 request_time,用逐行 JSON 和数值排序找出高耗时记录,再处理无效值与异常状态,避免按字符串排序或只筛选成功响应漏掉问题。

学习目标

  • 为访问日志增加可解析的请求耗时。
  • 按数值找出慢请求并保留方法、路径和状态。
  • 跳过损坏或缺失记录,区分慢请求样本与整体性能指标。

先确保记录了正确字段

以下片段示例放入 Nginx 1.28 的 http,依赖本机空闲 8080 和已创建、Master 可写的 /tmp/nginx-slow-lab 目录:

nginx
log_format slow_json escape=json
    '{"method":"$request_method","uri":"$uri",'
    '"status":"$status","rt":"$request_time"}';
server {
    listen 127.0.0.1:8080;
    server_name slow.test;
    access_log /tmp/nginx-slow-lab/access.ndjson slow_json;
    location / { return 200 "ok\n"; }
}

配置检查、重载并访问该实验站后,每条完整记录应具有 rt 秒数字符串。这个固定响应站只用于验证格式,不会稳定产生慢请求。request_time 从读到客户端最初字节到发送响应并写日志,包含客户端收发影响;它不是后端 CPU 时间。

用固定样本验证排序算法

在新的实验工作目录执行以下命令,创建单独的 fixture.ndjson;不要用样本覆盖真实访问日志:

bash
cat > fixture.ndjson <<'JSON'
{"method":"GET","uri":"/fast","status":"200","rt":"0.200"}
{"method":"GET","uri":"/report","status":"200","rt":"10.000"}
{"method":"POST","uri":"/checkout","status":"504","rt":"2.500"}
{"method":"GET","uri":"/missing","status":"404","rt":"-"}
broken-line
JSON

预期结果:文件含五行,其中两行不具有可排序的有效时间。10 与 2.5 必须按数值比较;字典序可能把 2 排到 10 前面。

逐行解析并输出最慢样本

以下完整 Python 3 程序保存为 slowest.py,用 python3 slowest.py fixture.ndjson 执行:

python
import json
import math
import sys

rows = []
skipped = 0
with open(sys.argv[1], encoding="utf-8") as source:
    for line in source:
        try:
            row = json.loads(line)
            rt = float(row["rt"])
            if not math.isfinite(rt) or rt < 0:
                raise ValueError("invalid duration")
            rows.append((rt, row))
        except (ValueError, KeyError, TypeError):
            skipped += 1
rows.sort(key=lambda item: item[0], reverse=True)
for rt, row in rows[:20]:
    uri = json.dumps(row.get("uri", "?"), ensure_ascii=False)
    print(f"{rt:.3f}s {row.get('method', '?')} {uri} status={row.get('status', '?')}")
print(f"skipped={skipped}", file=sys.stderr)

预期标准输出:

text
10.000s GET "/report" status=200
2.500s POST "/checkout" status=504
0.200s GET "/fast" status=200

标准错误输出为 skipped=2。URI 以 JSON 字符串形式输出,保留转义,便于辨认包含特殊字符的路径。该示例将记录保存在内存,适合小文件;大规模日志应采用流式 Top K、分块处理或日志分析系统。

从少量样本走向真实排查

把参数改成真实 access.ndjson 前,先读取一个已轮转或稳定的副本,保留损坏行计数。只列出 200 会漏掉很慢的 499、502、504;按路径、方法、状态、时间窗口与请求标识继续定位,不能只盯一个最大值。

Top 20 不是 P95、P99,也不能说明每个接口都慢。分位数需要完整且定义清楚的样本窗口;不同接口、响应大小和客户端群体应分别比较。变量定义可核对 Nginx request_time。

找到高耗时记录后,再结合上游时间、错误日志和应用追踪解释原因。不要把包含敏感参数的原始日志直接发到公开渠道,也不要为了排序方便擅自丢弃异常状态。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

怎样从日志找最慢请求

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通