大模型应用开发 / 系统课时

建立项目评测

建立项目评测

项目评测的目的不是得到一个漂亮总分,而是让每次提示词、检索、工具或模型改动都能用同一批样本复测,并明确知道退化发生在答案、引用、工具还是性能。本节建立一套固定测试集和可执行门禁脚本。

学习目标

  • 为答案质量、引用准确性、工具成功率和响应性能定义可重复指标。
  • 用固定测试集执行统一评测,避免不同版本使用不同样本导致结果不可比。
  • 把评测阈值转成发布门禁,并保留失败样本用于定位回归。

固定样本与判定契约

测试集应先固定输入,再固定“什么算正确”。每条样本至少包含稳定 ID、用户问题、答案判定条件、预期引用和预期工具。线上文档会变化时,还要记录知识库快照或版本号,否则同一问题在不同日期可能拥有不同正确答案。

四类指标可以使用不同判定方式:答案质量可用关键词覆盖、规则或人工标注;引用准确性可比较返回引用与预期证据集合;工具成功率检查是否调用正确工具并得到成功结果;性能至少记录首 token 延迟与端到端延迟。模型裁判可以作为补充,但裁判提示词和模型版本也必须固定。

维度 本示例判定 适合作为门禁的指标
答案质量 必要关键词覆盖率 平均分或最低分
引用准确性 返回引用集合与预期集合完全一致 准确率
工具成功 实际工具与预期工具一致 成功率
响应性能 固定样本的延迟分布 P95 首 token、P95 总延迟

用统一脚本计算四类指标

下面把三条固定样本和一次已记录的运行结果放在同一个脚本中,便于直接验证指标计算。接入真实项目时,只需把每条样本中的 actual 替换为调用待测应用后的真实结果,判定函数和阈值保持不变。

python
import json
import math
from statistics import mean

CASES = [
    {
        "id": "refund-1",
        "required_keywords": ["退款", "7天"],
        "expected_citations": ["doc-refund"],
        "expected_tool": "search_policy",
        "actual": {
            "answer": "支持7天内退款",
            "citations": ["doc-refund"],
            "tool": "search_policy",
            "ttft_ms": 120,
            "latency_ms": 420,
        },
    },
    {
        "id": "invoice-1",
        "required_keywords": ["发票", "订单"],
        "expected_citations": ["doc-invoice"],
        "expected_tool": "search_invoice",
        "actual": {
            "answer": "发票需关联订单申请",
            "citations": ["doc-invoice"],
            "tool": "search_invoice",
            "ttft_ms": 160,
            "latency_ms": 610,
        },
    },
    {
        "id": "balance-1",
        "required_keywords": ["余额"],
        "expected_citations": [],
        "expected_tool": "get_balance",
        "actual": {
            "answer": "余额为100元",
            "citations": [],
            "tool": "get_balance",
            "ttft_ms": 80,
            "latency_ms": 250,
        },
    },
]

def keyword_score(answer, keywords):
    return sum(keyword in answer for keyword in keywords) / len(keywords)

def nearest_rank(values, percentile):
    ordered = sorted(values)
    index = math.ceil(percentile * len(ordered)) - 1
    return ordered[index]

def evaluate(cases):
    quality = [keyword_score(c["actual"]["answer"], c["required_keywords"]) for c in cases]
    citations = [set(c["actual"]["citations"]) == set(c["expected_citations"]) for c in cases]
    tools = [c["actual"]["tool"] == c["expected_tool"] for c in cases]
    ttft = [c["actual"]["ttft_ms"] for c in cases]
    latency = [c["actual"]["latency_ms"] for c in cases]

    report = {
        "answer_quality": round(mean(quality), 3),
        "citation_accuracy": round(mean(citations), 3),
        "tool_success_rate": round(mean(tools), 3),
        "avg_latency_ms": round(mean(latency), 1),
        "p95_latency_ms": nearest_rank(latency, 0.95),
        "avg_ttft_ms": round(mean(ttft), 1),
        "p95_ttft_ms": nearest_rank(ttft, 0.95),
    }

    # 发布门禁应由业务风险决定,这里给出一组演示阈值。
    passed = (
        report["answer_quality"] >= 0.90
        and report["citation_accuracy"] >= 0.95
        and report["tool_success_rate"] >= 0.95
        and report["p95_latency_ms"] <= 800
        and report["p95_ttft_ms"] <= 200
    )
    report["gate"] = "PASS" if passed else "FAIL"
    return report

print(json.dumps(evaluate(CASES), ensure_ascii=False, indent=2))

预期输出

json
{
  "answer_quality": 1.0,
  "citation_accuracy": 1.0,
  "tool_success_rate": 1.0,
  "avg_latency_ms": 426.7,
  "p95_latency_ms": 610,
  "avg_ttft_ms": 120.0,
  "p95_ttft_ms": 160,
  "gate": "PASS"
}

这里的关键词评分故意保持简单,因为它适合做稳定、可解释的回归检查,而不是替代人工质量判断。引用采用“集合完全一致”属于严格规则:漏引和多引都会失败。真实工具评测还应同时检查参数、状态码和副作用是否符合预期。

用门禁阻止已知退化

平均分不能代替门禁。例如总答案质量仍有 95%,但支付类关键样本从正确变成错误,版本依然不应发布。固定测试集应给高风险场景单独分组,并允许设置更严格的最低分;性能同样要看 P95 或更高分位,而不是只看平均延迟。

当门禁失败时,报告至少要保留样本 ID、实际答案、返回引用、工具调用、首 token 延迟和总延迟。这样一次失败可以直接定位到具体维度,而不是只得到“总分下降”这个无法行动的结论。

把评测接入迭代流程

最实用的节奏是:开发阶段跑少量冒烟样本,合并前跑完整固定集,发布后再用真实流量抽样做离线复核。固定集负责可重复回归,线上样本负责发现新问题,两者职责不同,不能用不断变化的线上样本替代固定基线。

当测试集版本、评测脚本版本和应用版本能够一起追踪时,每次提示词、检索、工具或模型调整都能回答两个问题:质量是否真的变好,以及改善是否以引用错误、工具失败或延迟上升为代价。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

建立项目评测

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通