可观测性与稳定性 / 系统课时
模拟接口 500 完成日志追踪
模拟接口 500 完成日志追踪
本练习用一个可控的 500 接口制造故障,再把同一个 Request ID 贯穿访问日志与应用错误日志,最终在集中日志平台中还原“请求失败 → 哪个服务报错 → 具体异常”的定位链路。
学习目标
- 制造一个带固定 Request ID 的 HTTP 500 请求,并确认故障可重复。
- 用 Request ID 把访问日志与应用错误日志关联起来。
- 在集中日志索引中验证同一请求的完整证据链。
准备一个可追踪的 500 接口
下面用 Python 标准库启动一个最小 HTTP 服务。/fail 固定返回 500,同时写入 access.log 与 app.log;两类日志都会记录请求头中的 X-Request-ID。把代码保存为 mock_500.py 后运行 python3 mock_500.py,并把这两个日志文件加入现有 Agent 的采集路径。
from datetime import datetime, timezone
from http.server import BaseHTTPRequestHandler, HTTPServer
import json
def append_json(path, payload):
with open(path, "a", encoding="utf-8") as file:
file.write(json.dumps(payload, ensure_ascii=False) + "\n")
class Handler(BaseHTTPRequestHandler):
def log_message(self, format, *args):
return
def do_GET(self):
request_id = self.headers.get("X-Request-ID", "missing")
now = datetime.now(timezone.utc).isoformat()
access = {
"timestamp": now,
"log_type": "access",
"request_id": request_id,
"method": "GET",
"path": self.path,
}
if self.path == "/fail":
append_json("access.log", {**access, "status": 500})
append_json(
"app.log",
{
"timestamp": now,
"log_type": "application",
"request_id": request_id,
"level": "ERROR",
"message": "simulated backend failure",
},
)
body = b'{"error":"simulated failure"}\n'
self.send_response(500)
else:
append_json("access.log", {**access, "status": 200})
body = b'{"ok":true}\n'
self.send_response(200)
self.send_header("Content-Type", "application/json")
self.end_headers()
self.wfile.write(body)
if __name__ == "__main__":
print("listening on 8080", flush=True)
HTTPServer(("0.0.0.0", 8080), Handler).serve_forever()预期结果
listening on 8080另开一个终端发送故障请求。固定 Request ID 的好处是:即使多个用户同时访问,也能只追踪这一条请求。
curl -sS -o /dev/null -w 'status=%{http_code}\n' \
-H 'X-Request-ID: trace-500-001' \
http://127.0.0.1:8080/fail预期输出
status=500先从访问日志确认请求确实失败
访问日志负责回答“请求有没有到达、访问了什么路径、最终状态码是多少”。先在本机确认两个日志文件都出现同一个 Request ID,避免把“采集问题”误判成“应用没有写日志”。
grep 'trace-500-001' access.log app.log预期输出
access.log:{"timestamp":"<TIME>","log_type":"access","request_id":"trace-500-001","method":"GET","path":"/fail","status":500}
app.log:{"timestamp":"<TIME>","log_type":"application","request_id":"trace-500-001","level":"ERROR","message":"simulated backend failure"}<TIME> 是动态时间,实际值会不同。此时已经能确认:访问日志中的 status=500 与应用日志中的 ERROR 属于同一次请求。

在集中日志平台按 Request ID 回放
确保 Agent 已采集 access.log 和 app.log,并把 <HOST>、<PORT>、<INDEX> 替换为实验环境的搜索服务地址与索引。下面使用 match_phrase,避免依赖字段一定存在 .keyword 子字段。
curl -sS 'http://<HOST>:<PORT>/<INDEX>/_search?filter_path=hits.hits._source' \
-H 'Content-Type: application/json' \
-d '{
"_source": ["timestamp", "log_type", "request_id", "path", "status", "level", "message"],
"query": {
"match_phrase": {
"request_id": "trace-500-001"
}
}
}'预期输出
{
"hits": {
"hits": [
{
"_source": {
"timestamp": "<TIME>",
"log_type": "access",
"request_id": "trace-500-001",
"path": "/fail",
"status": 500
}
},
{
"_source": {
"timestamp": "<TIME>",
"log_type": "application",
"request_id": "trace-500-001",
"level": "ERROR",
"message": "simulated backend failure"
}
}
]
}
}两条命中的先后顺序可能随写入顺序不同而变化。若查询不到数据,先不要修改查询语句。先确认本机日志确实存在该 Request ID,再检查 Agent 是否读取了这两个文件、解析后是否保留 request_id 字段,以及写入的索引是否就是 <INDEX>。
按证据链定位而不是只看 500
真正排障时,推荐固定顺序:先用访问日志确认请求和状态码,再以 Request ID 搜索同一时间段的应用日志,最后读取异常消息、堆栈或下游调用字段。这样能把“看到 500”推进到“知道哪一段代码或哪个依赖导致 500”。
如果同一 Request ID 只能搜到访问日志,通常说明应用日志没有携带该字段、日志解析丢失字段,或应用日志进入了不同索引。只有当入口日志和错误日志都能用同一 Request ID 串起来,这条集中日志追踪链路才算验收通过。