大模型应用开发 / 系统课时
评估速度、质量与资源
评估速度、质量与资源
学习目标
完成本课后,你将能够:
- 区分首字延迟、加载耗时和生成速度
- 使用 API 元数据计算输入与输出吞吐
- 设计固定测试集评估回答质量
- 同时记录 CPU、内存、GPU 和显存资源
不能只看每秒 Token
模型评估至少包含三类指标:
- 速度:加载、首字、预填充、生成和总耗时
- 质量:正确率、格式、指令遵循和拒答
- 资源:内存、显存、处理器分布、功耗和并发
一个模型生成快,但错误率高或无法保持 JSON 格式,仍不适合目标业务。
API 性能字段
非流式 /api/generate 和 /api/chat 完成响应通常包含纳秒级耗时和 Token 计数:
| 字段 | 含义 |
|---|---|
total_duration |
请求总耗时 |
load_duration |
模型加载耗时 |
prompt_eval_count |
输入 Token 数 |
prompt_eval_duration |
输入处理耗时 |
eval_count |
输出 Token 数 |
eval_duration |
输出生成耗时 |
输出速度可近似计算为:
text
eval_count ÷ (eval_duration ÷ 1,000,000,000)完整基准脚本
保存为 benchmark_ollama.py:
python
import json
import statistics
import time
import urllib.request
URL = "http://localhost:11434/api/generate"
MODEL = "gemma3:1b"
PROMPT = "用 5 个要点说明本地部署大模型时需要检查的资源。"
RUNS = 3
def request_once() -> dict:
payload = {
"model": MODEL,
"prompt": PROMPT,
"stream": False,
"options": {
"temperature": 0,
"seed": 42,
"num_predict": 160,
},
}
request = urllib.request.Request(
URL,
data=json.dumps(payload).encode("utf-8"),
headers={"Content-Type": "application/json"},
)
started = time.perf_counter()
with urllib.request.urlopen(request, timeout=300) as response:
result = json.load(response)
result["client_seconds"] = time.perf_counter() - started
return result
records = [request_once() for _ in range(RUNS)]
for index, record in enumerate(records, 1):
eval_seconds = record["eval_duration"] / 1_000_000_000
tokens_per_second = (
record["eval_count"] / eval_seconds if eval_seconds > 0 else 0
)
print(
f"run={index} "
f"client={record['client_seconds']:.3f}s "
f"load={record['load_duration'] / 1_000_000_000:.3f}s "
f"output_tps={tokens_per_second:.2f}"
)
print(
"median_client_seconds="
f"{statistics.median(r['client_seconds'] for r in records):.3f}"
)运行:
bash
python benchmark_ollama.py预期输出结构:
text
run=1 client=<SECONDS>s load=<SECONDS>s output_tps=<TOKENS_PER_SECOND>
run=2 client=<SECONDS>s load=<SECONDS>s output_tps=<TOKENS_PER_SECOND>
run=3 client=<SECONDS>s load=<SECONDS>s output_tps=<TOKENS_PER_SECOND>
median_client_seconds=<SECONDS>数值由模型、设备和运行状态决定。
评估首字延迟
完整返回只能得到请求结束时间。测量首字延迟应使用流式请求,记录:
text
首个响应块时间 - 客户端发起请求时间首字延迟包含网络、本地排队、模型加载和预填充。测试报告应说明模型是否冷启动。
质量测试集
每类任务准备固定样例和验收规则:
- 事实问答:关键事实匹配
- 代码:编译与测试通过
- JSON:Schema 验证通过
- RAG:引用是否来自给定资料
- 工具调用:函数名与参数正确
- 中文:术语、格式和语义
- 安全边界:是否泄露禁止数据
质量评分应尽量自动化。主观评分需要至少两名评审和统一标准。
资源记录
基准期间记录:
ollama ps的PROCESSOR与CONTEXT- 系统内存峰值
- GPU 显存峰值
- CPU 与 GPU 利用率
- 模型是否发生卸载或切换
- 并发数和队列情况
- 温度、上下文和输出长度
没有记录参数和环境的性能数字无法复现。
测试矩阵
推荐矩阵:
| 变量 | 候选值 |
|---|---|
| 模型 | 候选 A、B、C |
| 量化 | Q4、Q5、Q8 等实际可用标签 |
| 上下文 | 4K、8K、目标长度 |
| 并发 | 1、2、目标峰值 |
| 启动 | 冷启动、热启动 |
| 提示词 | 短输入、长输入、真实任务 |
一次只改变一个主要变量,或使用清晰的实验矩阵。
形成结论
模型选型报告应回答:
- 哪个模型满足质量底线。
- 哪个配置满足延迟和吞吐。
- 设备还能保留多少资源余量。
- 最大安全并发是多少。
- 已知失败场景是什么。
- 何时需要降级或切换模型。
不能只给出“模型 B 更好”,而不说明测试条件。
本课练习
练习 1:运行单模型基准
任务目标:采集完整性能字段。输入或初始条件:本地有一个文本模型。实现要求:运行至少 5 次并区分冷启动与热启动。验收条件:报告包含中位数和资源峰值。
练习 2:设计质量测试集
任务目标:把业务要求转为可评分样例。输入或初始条件:选择问答、代码或抽取任务。实现要求:准备不少于 20 条样例。验收条件:每条都有明确通过条件。
练习 3:比较两个配置
任务目标:做可解释实验。输入或初始条件:同一模型的两个上下文或量化配置。实现要求:固定其他变量进行对比。验收条件:结论同时覆盖速度、质量和资源。
按自己的节奏,确认真正理解。