大模型应用开发 / 系统课时
建立项目评测
建立项目评测
项目评测的目的不是得到一个漂亮总分,而是让每次提示词、检索、工具或模型改动都能用同一批样本复测,并明确知道退化发生在答案、引用、工具还是性能。本节建立一套固定测试集和可执行门禁脚本。
学习目标
- 为答案质量、引用准确性、工具成功率和响应性能定义可重复指标。
- 用固定测试集执行统一评测,避免不同版本使用不同样本导致结果不可比。
- 把评测阈值转成发布门禁,并保留失败样本用于定位回归。
固定样本与判定契约
测试集应先固定输入,再固定“什么算正确”。每条样本至少包含稳定 ID、用户问题、答案判定条件、预期引用和预期工具。线上文档会变化时,还要记录知识库快照或版本号,否则同一问题在不同日期可能拥有不同正确答案。
四类指标可以使用不同判定方式:答案质量可用关键词覆盖、规则或人工标注;引用准确性可比较返回引用与预期证据集合;工具成功率检查是否调用正确工具并得到成功结果;性能至少记录首 token 延迟与端到端延迟。模型裁判可以作为补充,但裁判提示词和模型版本也必须固定。
| 维度 | 本示例判定 | 适合作为门禁的指标 |
|---|---|---|
| 答案质量 | 必要关键词覆盖率 | 平均分或最低分 |
| 引用准确性 | 返回引用集合与预期集合完全一致 | 准确率 |
| 工具成功 | 实际工具与预期工具一致 | 成功率 |
| 响应性能 | 固定样本的延迟分布 | P95 首 token、P95 总延迟 |
用统一脚本计算四类指标
下面把三条固定样本和一次已记录的运行结果放在同一个脚本中,便于直接验证指标计算。接入真实项目时,只需把每条样本中的 actual 替换为调用待测应用后的真实结果,判定函数和阈值保持不变。
import json
import math
from statistics import mean
CASES = [
{
"id": "refund-1",
"required_keywords": ["退款", "7天"],
"expected_citations": ["doc-refund"],
"expected_tool": "search_policy",
"actual": {
"answer": "支持7天内退款",
"citations": ["doc-refund"],
"tool": "search_policy",
"ttft_ms": 120,
"latency_ms": 420,
},
},
{
"id": "invoice-1",
"required_keywords": ["发票", "订单"],
"expected_citations": ["doc-invoice"],
"expected_tool": "search_invoice",
"actual": {
"answer": "发票需关联订单申请",
"citations": ["doc-invoice"],
"tool": "search_invoice",
"ttft_ms": 160,
"latency_ms": 610,
},
},
{
"id": "balance-1",
"required_keywords": ["余额"],
"expected_citations": [],
"expected_tool": "get_balance",
"actual": {
"answer": "余额为100元",
"citations": [],
"tool": "get_balance",
"ttft_ms": 80,
"latency_ms": 250,
},
},
]
def keyword_score(answer, keywords):
return sum(keyword in answer for keyword in keywords) / len(keywords)
def nearest_rank(values, percentile):
ordered = sorted(values)
index = math.ceil(percentile * len(ordered)) - 1
return ordered[index]
def evaluate(cases):
quality = [keyword_score(c["actual"]["answer"], c["required_keywords"]) for c in cases]
citations = [set(c["actual"]["citations"]) == set(c["expected_citations"]) for c in cases]
tools = [c["actual"]["tool"] == c["expected_tool"] for c in cases]
ttft = [c["actual"]["ttft_ms"] for c in cases]
latency = [c["actual"]["latency_ms"] for c in cases]
report = {
"answer_quality": round(mean(quality), 3),
"citation_accuracy": round(mean(citations), 3),
"tool_success_rate": round(mean(tools), 3),
"avg_latency_ms": round(mean(latency), 1),
"p95_latency_ms": nearest_rank(latency, 0.95),
"avg_ttft_ms": round(mean(ttft), 1),
"p95_ttft_ms": nearest_rank(ttft, 0.95),
}
# 发布门禁应由业务风险决定,这里给出一组演示阈值。
passed = (
report["answer_quality"] >= 0.90
and report["citation_accuracy"] >= 0.95
and report["tool_success_rate"] >= 0.95
and report["p95_latency_ms"] <= 800
and report["p95_ttft_ms"] <= 200
)
report["gate"] = "PASS" if passed else "FAIL"
return report
print(json.dumps(evaluate(CASES), ensure_ascii=False, indent=2))预期输出
{
"answer_quality": 1.0,
"citation_accuracy": 1.0,
"tool_success_rate": 1.0,
"avg_latency_ms": 426.7,
"p95_latency_ms": 610,
"avg_ttft_ms": 120.0,
"p95_ttft_ms": 160,
"gate": "PASS"
}这里的关键词评分故意保持简单,因为它适合做稳定、可解释的回归检查,而不是替代人工质量判断。引用采用“集合完全一致”属于严格规则:漏引和多引都会失败。真实工具评测还应同时检查参数、状态码和副作用是否符合预期。
用门禁阻止已知退化
平均分不能代替门禁。例如总答案质量仍有 95%,但支付类关键样本从正确变成错误,版本依然不应发布。固定测试集应给高风险场景单独分组,并允许设置更严格的最低分;性能同样要看 P95 或更高分位,而不是只看平均延迟。
当门禁失败时,报告至少要保留样本 ID、实际答案、返回引用、工具调用、首 token 延迟和总延迟。这样一次失败可以直接定位到具体维度,而不是只得到“总分下降”这个无法行动的结论。
把评测接入迭代流程
最实用的节奏是:开发阶段跑少量冒烟样本,合并前跑完整固定集,发布后再用真实流量抽样做离线复核。固定集负责可重复回归,线上样本负责发现新问题,两者职责不同,不能用不断变化的线上样本替代固定基线。
当测试集版本、评测脚本版本和应用版本能够一起追踪时,每次提示词、检索、工具或模型调整都能回答两个问题:质量是否真的变好,以及改善是否以引用错误、工具失败或延迟上升为代价。