大模型应用开发 / 系统课时

采集日志与关键指标

采集日志与关键指标

学习目标

完成本课后,你将能够:

  • 区分服务日志、请求指标和系统资源指标
  • 从 Ollama 响应元数据计算首字延迟与生成速度
  • 使用结构化日志记录模型、Token、耗时和错误
  • 建立能够支持容量规划和故障定位的观测面板

观测需要回答哪些问题

一套可用的观测体系至少要回答:

  • 服务是否可用
  • 当前加载了哪些模型
  • 请求是否在排队
  • 首字和完成延迟是否变慢
  • 输入与输出 Token 是否异常增长
  • 模型生成速度是否下降
  • CPU、GPU、内存和显存是否达到瓶颈
  • 错误来自客户端、代理、Ollama 还是模型加载
  • 版本或配置变更后是否出现回退

只保存一份原始 server.log,无法完成这些问题的趋势分析。需要把日志、API 元数据和系统指标组合起来。

查看平台日志

Linux:

bash
sudo journalctl -u ollama -n 100 --no-pager

预期输出:

text
最近 100 行 Ollama systemd 日志。具体字段和时间由当前服务产生。

Docker:

bash
docker logs --tail 100 ollama

预期输出:

text
最近 100 行 Ollama 容器日志。

macOS:

bash
tail -n 100 ~/.ollama/logs/server.log

预期输出:

text
最近 100 行 macOS Ollama 服务日志。

Windows PowerShell:

powershell
Get-Content "$env:LOCALAPPDATA\Ollama\server.log" -Tail 100

预期输出:

text
最近 100 行 Windows Ollama 服务日志。

响应中可直接使用的性能字段

非流式生成或对话结束时,响应通常包含纳秒级耗时和 Token 计数:

  • total_duration
  • load_duration
  • prompt_eval_count
  • prompt_eval_duration
  • eval_count
  • eval_duration

可以计算:

text
输入处理速度
= prompt_eval_count ÷ prompt_eval_duration_seconds

输出生成速度
= eval_count ÷ eval_duration_seconds

load_duration 较高通常表示模型重新加载;total_duration 还包括排队、加载、预填充和生成等阶段。

采集一次非流式请求指标

保存为 ollama_metrics_once.py:

python
import json
import time
import urllib.request

URL = "http://localhost:11434/api/generate"
MODEL = "<MODEL>"

def nanos_to_seconds(value: int | None) -> float:
    return (value or 0) / 1_000_000_000

payload = json.dumps({
    "model": MODEL,
    "prompt": "用三点说明为什么需要模型服务指标。",
    "stream": False,
}).encode("utf-8")

request = urllib.request.Request(
    URL,
    data=payload,
    headers={"Content-Type": "application/json"},
    method="POST",
)

client_started = time.perf_counter()
with urllib.request.urlopen(request, timeout=180) as response:
    body = json.loads(response.read().decode("utf-8"))
client_seconds = time.perf_counter() - client_started

prompt_seconds = nanos_to_seconds(body.get("prompt_eval_duration"))
eval_seconds = nanos_to_seconds(body.get("eval_duration"))
prompt_count = body.get("prompt_eval_count", 0)
eval_count = body.get("eval_count", 0)

metrics = {
    "model": body.get("model"),
    "http_status": response.status,
    "client_seconds": round(client_seconds, 4),
    "load_seconds": round(nanos_to_seconds(body.get("load_duration")), 4),
    "prompt_tokens": prompt_count,
    "prompt_tokens_per_second": (
        round(prompt_count / prompt_seconds, 2) if prompt_seconds else None
    ),
    "output_tokens": eval_count,
    "output_tokens_per_second": (
        round(eval_count / eval_seconds, 2) if eval_seconds else None
    ),
    "done_reason": body.get("done_reason"),
}

print(json.dumps(metrics, ensure_ascii=False, indent=2))

运行:

bash
python3 ollama_metrics_once.py

预期输出结构:

json
{
  "model": "<MODEL>",
  "http_status": 200,
  "client_seconds": 0.0,
  "load_seconds": 0.0,
  "prompt_tokens": 0,
  "prompt_tokens_per_second": 0.0,
  "output_tokens": 0,
  "output_tokens_per_second": 0.0,
  "done_reason": "<REASON>"
}

示例中的 0 是动态数值占位,真实运行会输出实际值。

流式请求的首字延迟

流式请求要在客户端记录三个时刻:

  1. 请求开始时间。
  2. 收到第一个非空内容块的时间。
  3. 收到 done: true 的时间。

由此得到:

text
首字延迟 = 第一个内容块时间 - 请求开始时间
完成延迟 = done 时间 - 请求开始时间

服务端 total_duration 与客户端完成延迟并不完全相同。网络、代理缓冲和客户端解析会增加额外时间,因此两类指标都应保留。

结构化请求日志字段

建议每次请求至少记录:

字段 作用
request_id 串联代理、应用与模型服务
model 区分模型版本
endpoint 区分 generate、chat、embed
stream 判断传输模式
prompt_tokens 观察输入长度
output_tokens 观察输出长度
first_token_ms 用户感知延迟
total_ms 完整耗时
load_ms 判断模型冷启动
status_code HTTP 结果
error_type 分类超时、过载、模型和网络错误
cancelled 客户端是否取消
queue_wait_ms 应用层排队时间
trace_id 关联分布式链路

不要默认记录完整提示词和回答。它们可能包含敏感数据,并会显著增加日志量。需要抽样保存时,应完成脱敏、权限和保留期设计。

系统资源指标

按固定周期采集:

  • CPU 使用率和负载
  • 物理内存、可用内存和 Swap
  • GPU 利用率
  • 显存总量、已用和空闲
  • GPU 温度与功耗
  • 磁盘剩余空间和 I/O
  • 网络连接和吞吐
  • Ollama 进程或容器重启次数
  • 当前加载模型数量
  • 当前模型上下文和 size_vram

性能问题只有与请求时间对齐,才能判断是模型、硬件还是流量变化。

告警与看板建议

最小看板可以包含:

  • 请求量与成功率
  • P50、P95、P99 首字延迟
  • P50、P95 总耗时
  • 输入和输出 Token 速率
  • 每个模型的生成速度
  • 4xx、5xx、超时和取消
  • 队列长度和拒绝请求
  • 模型加载次数与加载耗时
  • CPU、内存、GPU、显存
  • 磁盘剩余空间

告警应有持续时间,避免单次瞬时峰值触发大量通知。例如连续 5 分钟 P95 首字延迟超过目标,通常比单次慢请求更有操作价值。

本课练习

练习 1:采集请求指标

任务目标:从一次生成响应计算 Token 速度。输入或初始条件:准备一个本地模型并运行示例脚本。

实现要求:记录加载、输入处理、输出速度和客户端总耗时。验收条件:动态值不被写死,计算单位正确。

练习 2:设计结构化日志

任务目标:定义可关联的请求日志格式。输入或初始条件:业务应用通过代理调用 Ollama。实现要求:设计 JSON 日志字段和脱敏规则

验收条件:能够按 request_id 追踪代理、应用和模型服务。

练习 3:制定告警规则

任务目标:把指标转化为可执行告警。输入或初始条件:已有延迟、错误率、显存和磁盘指标。

实现要求:设计至少 5 条包含阈值、持续时间和处理动作的告警。验收条件:避免仅凭单点峰值告警。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

采集日志与关键指标

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通