大模型应用开发 / 系统课时

评估速度、质量与资源

评估速度、质量与资源

学习目标

完成本课后,你将能够:

  • 区分首字延迟、加载耗时和生成速度
  • 使用 API 元数据计算输入与输出吞吐
  • 设计固定测试集评估回答质量
  • 同时记录 CPU、内存、GPU 和显存资源

不能只看每秒 Token

模型评估至少包含三类指标:

  • 速度:加载、首字、预填充、生成和总耗时
  • 质量:正确率、格式、指令遵循和拒答
  • 资源:内存、显存、处理器分布、功耗和并发

一个模型生成快,但错误率高或无法保持 JSON 格式,仍不适合目标业务。

API 性能字段

非流式 /api/generate 和 /api/chat 完成响应通常包含纳秒级耗时和 Token 计数:

字段 含义
total_duration 请求总耗时
load_duration 模型加载耗时
prompt_eval_count 输入 Token 数
prompt_eval_duration 输入处理耗时
eval_count 输出 Token 数
eval_duration 输出生成耗时

输出速度可近似计算为:

text
eval_count ÷ (eval_duration ÷ 1,000,000,000)

完整基准脚本

保存为 benchmark_ollama.py:

python
import json
import statistics
import time
import urllib.request

URL = "http://localhost:11434/api/generate"
MODEL = "gemma3:1b"
PROMPT = "用 5 个要点说明本地部署大模型时需要检查的资源。"
RUNS = 3

def request_once() -> dict:
    payload = {
        "model": MODEL,
        "prompt": PROMPT,
        "stream": False,
        "options": {
            "temperature": 0,
            "seed": 42,
            "num_predict": 160,
        },
    }
    request = urllib.request.Request(
        URL,
        data=json.dumps(payload).encode("utf-8"),
        headers={"Content-Type": "application/json"},
    )
    started = time.perf_counter()
    with urllib.request.urlopen(request, timeout=300) as response:
        result = json.load(response)
    result["client_seconds"] = time.perf_counter() - started
    return result

records = [request_once() for _ in range(RUNS)]

for index, record in enumerate(records, 1):
    eval_seconds = record["eval_duration"] / 1_000_000_000
    tokens_per_second = (
        record["eval_count"] / eval_seconds if eval_seconds > 0 else 0
    )
    print(
        f"run={index} "
        f"client={record['client_seconds']:.3f}s "
        f"load={record['load_duration'] / 1_000_000_000:.3f}s "
        f"output_tps={tokens_per_second:.2f}"
    )

print(
    "median_client_seconds="
    f"{statistics.median(r['client_seconds'] for r in records):.3f}"
)

运行:

bash
python benchmark_ollama.py

预期输出结构:

text
run=1 client=<SECONDS>s load=<SECONDS>s output_tps=<TOKENS_PER_SECOND>
run=2 client=<SECONDS>s load=<SECONDS>s output_tps=<TOKENS_PER_SECOND>
run=3 client=<SECONDS>s load=<SECONDS>s output_tps=<TOKENS_PER_SECOND>
median_client_seconds=<SECONDS>

数值由模型、设备和运行状态决定。

评估首字延迟

完整返回只能得到请求结束时间。测量首字延迟应使用流式请求,记录:

text
首个响应块时间 - 客户端发起请求时间

首字延迟包含网络、本地排队、模型加载和预填充。测试报告应说明模型是否冷启动。

质量测试集

每类任务准备固定样例和验收规则:

  • 事实问答:关键事实匹配
  • 代码:编译与测试通过
  • JSON:Schema 验证通过
  • RAG:引用是否来自给定资料
  • 工具调用:函数名与参数正确
  • 中文:术语、格式和语义
  • 安全边界:是否泄露禁止数据

质量评分应尽量自动化。主观评分需要至少两名评审和统一标准。

资源记录

基准期间记录:

  • ollama ps 的 PROCESSOR 与 CONTEXT
  • 系统内存峰值
  • GPU 显存峰值
  • CPU 与 GPU 利用率
  • 模型是否发生卸载或切换
  • 并发数和队列情况
  • 温度、上下文和输出长度

没有记录参数和环境的性能数字无法复现。

测试矩阵

推荐矩阵:

变量 候选值
模型 候选 A、B、C
量化 Q4、Q5、Q8 等实际可用标签
上下文 4K、8K、目标长度
并发 1、2、目标峰值
启动 冷启动、热启动
提示词 短输入、长输入、真实任务

一次只改变一个主要变量,或使用清晰的实验矩阵。

形成结论

模型选型报告应回答:

  1. 哪个模型满足质量底线。
  2. 哪个配置满足延迟和吞吐。
  3. 设备还能保留多少资源余量。
  4. 最大安全并发是多少。
  5. 已知失败场景是什么。
  6. 何时需要降级或切换模型。

不能只给出“模型 B 更好”,而不说明测试条件。

本课练习

练习 1:运行单模型基准

任务目标:采集完整性能字段。输入或初始条件:本地有一个文本模型。实现要求:运行至少 5 次并区分冷启动与热启动。验收条件:报告包含中位数和资源峰值。

练习 2:设计质量测试集

任务目标:把业务要求转为可评分样例。输入或初始条件:选择问答、代码或抽取任务。实现要求:准备不少于 20 条样例。验收条件:每条都有明确通过条件。

练习 3:比较两个配置

任务目标:做可解释实验。输入或初始条件:同一模型的两个上下文或量化配置。实现要求:固定其他变量进行对比。验收条件:结论同时覆盖速度、质量和资源。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

评估速度、质量与资源

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通