可观测性与稳定性 / 系统课时

模拟接口 500 完成日志追踪

模拟接口 500 完成日志追踪

本练习用一个可控的 500 接口制造故障,再把同一个 Request ID 贯穿访问日志与应用错误日志,最终在集中日志平台中还原“请求失败 → 哪个服务报错 → 具体异常”的定位链路。

学习目标

  • 制造一个带固定 Request ID 的 HTTP 500 请求,并确认故障可重复。
  • 用 Request ID 把访问日志与应用错误日志关联起来。
  • 在集中日志索引中验证同一请求的完整证据链。

准备一个可追踪的 500 接口

下面用 Python 标准库启动一个最小 HTTP 服务。/fail 固定返回 500,同时写入 access.log 与 app.log;两类日志都会记录请求头中的 X-Request-ID。把代码保存为 mock_500.py 后运行 python3 mock_500.py,并把这两个日志文件加入现有 Agent 的采集路径。

python
from datetime import datetime, timezone
from http.server import BaseHTTPRequestHandler, HTTPServer
import json

def append_json(path, payload):
    with open(path, "a", encoding="utf-8") as file:
        file.write(json.dumps(payload, ensure_ascii=False) + "\n")

class Handler(BaseHTTPRequestHandler):
    def log_message(self, format, *args):
        return

    def do_GET(self):
        request_id = self.headers.get("X-Request-ID", "missing")
        now = datetime.now(timezone.utc).isoformat()
        access = {
            "timestamp": now,
            "log_type": "access",
            "request_id": request_id,
            "method": "GET",
            "path": self.path,
        }

        if self.path == "/fail":
            append_json("access.log", {**access, "status": 500})
            append_json(
                "app.log",
                {
                    "timestamp": now,
                    "log_type": "application",
                    "request_id": request_id,
                    "level": "ERROR",
                    "message": "simulated backend failure",
                },
            )
            body = b'{"error":"simulated failure"}\n'
            self.send_response(500)
        else:
            append_json("access.log", {**access, "status": 200})
            body = b'{"ok":true}\n'
            self.send_response(200)

        self.send_header("Content-Type", "application/json")
        self.end_headers()
        self.wfile.write(body)

if __name__ == "__main__":
    print("listening on 8080", flush=True)
    HTTPServer(("0.0.0.0", 8080), Handler).serve_forever()

预期结果

text
listening on 8080

另开一个终端发送故障请求。固定 Request ID 的好处是:即使多个用户同时访问,也能只追踪这一条请求。

bash
curl -sS -o /dev/null -w 'status=%{http_code}\n' \
  -H 'X-Request-ID: trace-500-001' \
  http://127.0.0.1:8080/fail

预期输出

text
status=500

先从访问日志确认请求确实失败

访问日志负责回答“请求有没有到达、访问了什么路径、最终状态码是多少”。先在本机确认两个日志文件都出现同一个 Request ID,避免把“采集问题”误判成“应用没有写日志”。

bash
grep 'trace-500-001' access.log app.log

预期输出

text
access.log:{"timestamp":"<TIME>","log_type":"access","request_id":"trace-500-001","method":"GET","path":"/fail","status":500}
app.log:{"timestamp":"<TIME>","log_type":"application","request_id":"trace-500-001","level":"ERROR","message":"simulated backend failure"}

<TIME> 是动态时间,实际值会不同。此时已经能确认:访问日志中的 status=500 与应用日志中的 ERROR 属于同一次请求。

Request ID 从 500 访问日志追踪到应用错误日志

在集中日志平台按 Request ID 回放

确保 Agent 已采集 access.log 和 app.log,并把 <HOST>、<PORT>、<INDEX> 替换为实验环境的搜索服务地址与索引。下面使用 match_phrase,避免依赖字段一定存在 .keyword 子字段。

bash
curl -sS 'http://<HOST>:<PORT>/<INDEX>/_search?filter_path=hits.hits._source' \
  -H 'Content-Type: application/json' \
  -d '{
    "_source": ["timestamp", "log_type", "request_id", "path", "status", "level", "message"],
    "query": {
      "match_phrase": {
        "request_id": "trace-500-001"
      }
    }
  }'

预期输出

json
{
  "hits": {
    "hits": [
      {
        "_source": {
          "timestamp": "<TIME>",
          "log_type": "access",
          "request_id": "trace-500-001",
          "path": "/fail",
          "status": 500
        }
      },
      {
        "_source": {
          "timestamp": "<TIME>",
          "log_type": "application",
          "request_id": "trace-500-001",
          "level": "ERROR",
          "message": "simulated backend failure"
        }
      }
    ]
  }
}

两条命中的先后顺序可能随写入顺序不同而变化。若查询不到数据,先不要修改查询语句。先确认本机日志确实存在该 Request ID,再检查 Agent 是否读取了这两个文件、解析后是否保留 request_id 字段,以及写入的索引是否就是 <INDEX>。

按证据链定位而不是只看 500

真正排障时,推荐固定顺序:先用访问日志确认请求和状态码,再以 Request ID 搜索同一时间段的应用日志,最后读取异常消息、堆栈或下游调用字段。这样能把“看到 500”推进到“知道哪一段代码或哪个依赖导致 500”。

如果同一 Request ID 只能搜到访问日志,通常说明应用日志没有携带该字段、日志解析丢失字段,或应用日志进入了不同索引。只有当入口日志和错误日志都能用同一 Request ID 串起来,这条集中日志追踪链路才算验收通过。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

模拟接口 500 完成日志追踪

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通