大模型应用开发 / 系统课时
采集日志与关键指标
采集日志与关键指标
学习目标
完成本课后,你将能够:
- 区分服务日志、请求指标和系统资源指标
- 从 Ollama 响应元数据计算首字延迟与生成速度
- 使用结构化日志记录模型、Token、耗时和错误
- 建立能够支持容量规划和故障定位的观测面板
观测需要回答哪些问题
一套可用的观测体系至少要回答:
- 服务是否可用
- 当前加载了哪些模型
- 请求是否在排队
- 首字和完成延迟是否变慢
- 输入与输出 Token 是否异常增长
- 模型生成速度是否下降
- CPU、GPU、内存和显存是否达到瓶颈
- 错误来自客户端、代理、Ollama 还是模型加载
- 版本或配置变更后是否出现回退
只保存一份原始 server.log,无法完成这些问题的趋势分析。需要把日志、API 元数据和系统指标组合起来。
查看平台日志
Linux:
sudo journalctl -u ollama -n 100 --no-pager预期输出:
最近 100 行 Ollama systemd 日志。具体字段和时间由当前服务产生。Docker:
docker logs --tail 100 ollama预期输出:
最近 100 行 Ollama 容器日志。macOS:
tail -n 100 ~/.ollama/logs/server.log预期输出:
最近 100 行 macOS Ollama 服务日志。Windows PowerShell:
Get-Content "$env:LOCALAPPDATA\Ollama\server.log" -Tail 100预期输出:
最近 100 行 Windows Ollama 服务日志。响应中可直接使用的性能字段
非流式生成或对话结束时,响应通常包含纳秒级耗时和 Token 计数:
total_durationload_durationprompt_eval_countprompt_eval_durationeval_counteval_duration
可以计算:
输入处理速度
= prompt_eval_count ÷ prompt_eval_duration_seconds
输出生成速度
= eval_count ÷ eval_duration_secondsload_duration 较高通常表示模型重新加载;total_duration 还包括排队、加载、预填充和生成等阶段。
采集一次非流式请求指标
保存为 ollama_metrics_once.py:
import json
import time
import urllib.request
URL = "http://localhost:11434/api/generate"
MODEL = "<MODEL>"
def nanos_to_seconds(value: int | None) -> float:
return (value or 0) / 1_000_000_000
payload = json.dumps({
"model": MODEL,
"prompt": "用三点说明为什么需要模型服务指标。",
"stream": False,
}).encode("utf-8")
request = urllib.request.Request(
URL,
data=payload,
headers={"Content-Type": "application/json"},
method="POST",
)
client_started = time.perf_counter()
with urllib.request.urlopen(request, timeout=180) as response:
body = json.loads(response.read().decode("utf-8"))
client_seconds = time.perf_counter() - client_started
prompt_seconds = nanos_to_seconds(body.get("prompt_eval_duration"))
eval_seconds = nanos_to_seconds(body.get("eval_duration"))
prompt_count = body.get("prompt_eval_count", 0)
eval_count = body.get("eval_count", 0)
metrics = {
"model": body.get("model"),
"http_status": response.status,
"client_seconds": round(client_seconds, 4),
"load_seconds": round(nanos_to_seconds(body.get("load_duration")), 4),
"prompt_tokens": prompt_count,
"prompt_tokens_per_second": (
round(prompt_count / prompt_seconds, 2) if prompt_seconds else None
),
"output_tokens": eval_count,
"output_tokens_per_second": (
round(eval_count / eval_seconds, 2) if eval_seconds else None
),
"done_reason": body.get("done_reason"),
}
print(json.dumps(metrics, ensure_ascii=False, indent=2))运行:
python3 ollama_metrics_once.py预期输出结构:
{
"model": "<MODEL>",
"http_status": 200,
"client_seconds": 0.0,
"load_seconds": 0.0,
"prompt_tokens": 0,
"prompt_tokens_per_second": 0.0,
"output_tokens": 0,
"output_tokens_per_second": 0.0,
"done_reason": "<REASON>"
}示例中的 0 是动态数值占位,真实运行会输出实际值。
流式请求的首字延迟
流式请求要在客户端记录三个时刻:
- 请求开始时间。
- 收到第一个非空内容块的时间。
- 收到
done: true的时间。
由此得到:
首字延迟 = 第一个内容块时间 - 请求开始时间
完成延迟 = done 时间 - 请求开始时间服务端 total_duration 与客户端完成延迟并不完全相同。网络、代理缓冲和客户端解析会增加额外时间,因此两类指标都应保留。
结构化请求日志字段
建议每次请求至少记录:
| 字段 | 作用 |
|---|---|
request_id |
串联代理、应用与模型服务 |
model |
区分模型版本 |
endpoint |
区分 generate、chat、embed |
stream |
判断传输模式 |
prompt_tokens |
观察输入长度 |
output_tokens |
观察输出长度 |
first_token_ms |
用户感知延迟 |
total_ms |
完整耗时 |
load_ms |
判断模型冷启动 |
status_code |
HTTP 结果 |
error_type |
分类超时、过载、模型和网络错误 |
cancelled |
客户端是否取消 |
queue_wait_ms |
应用层排队时间 |
trace_id |
关联分布式链路 |
不要默认记录完整提示词和回答。它们可能包含敏感数据,并会显著增加日志量。需要抽样保存时,应完成脱敏、权限和保留期设计。
系统资源指标
按固定周期采集:
- CPU 使用率和负载
- 物理内存、可用内存和 Swap
- GPU 利用率
- 显存总量、已用和空闲
- GPU 温度与功耗
- 磁盘剩余空间和 I/O
- 网络连接和吞吐
- Ollama 进程或容器重启次数
- 当前加载模型数量
- 当前模型上下文和
size_vram
性能问题只有与请求时间对齐,才能判断是模型、硬件还是流量变化。
告警与看板建议
最小看板可以包含:
- 请求量与成功率
- P50、P95、P99 首字延迟
- P50、P95 总耗时
- 输入和输出 Token 速率
- 每个模型的生成速度
- 4xx、5xx、超时和取消
- 队列长度和拒绝请求
- 模型加载次数与加载耗时
- CPU、内存、GPU、显存
- 磁盘剩余空间
告警应有持续时间,避免单次瞬时峰值触发大量通知。例如连续 5 分钟 P95 首字延迟超过目标,通常比单次慢请求更有操作价值。
本课练习
练习 1:采集请求指标
任务目标:从一次生成响应计算 Token 速度。输入或初始条件:准备一个本地模型并运行示例脚本。
实现要求:记录加载、输入处理、输出速度和客户端总耗时。验收条件:动态值不被写死,计算单位正确。
练习 2:设计结构化日志
任务目标:定义可关联的请求日志格式。输入或初始条件:业务应用通过代理调用 Ollama。实现要求:设计 JSON 日志字段和脱敏规则
验收条件:能够按 request_id 追踪代理、应用和模型服务。
练习 3:制定告警规则
任务目标:把指标转化为可执行告警。输入或初始条件:已有延迟、错误率、显存和磁盘指标。
实现要求:设计至少 5 条包含阈值、持续时间和处理动作的告警。验收条件:避免仅凭单点峰值告警。