大模型应用开发 / 系统课时

定义评测目标

定义评测目标

评测不是先选工具,而是先明确“什么结果算好”。本课将把业务任务拆成可观察、可计算的指标,并给出一套可直接落地的评分方式,避免只凭主观感受判断大模型应用效果。

学习目标

  • 从业务任务中提炼准确性、完整性、相关性、安全性和响应速度指标
  • 为每个指标定义可执行的评分标准与通过阈值
  • 使用加权得分判断版本是否达到上线要求

从业务结果反推指标

先写清应用要完成的任务,再定义失败意味着什么。例如,客服问答的目标不是“回答得像人”,而是让用户得到正确、完整且不越权的解决方案。由此可以得到五类核心指标:

指标 要回答的问题 常见度量
准确性 事实、计算和结论是否正确 正确率、事实错误数
完整性 必要步骤和限制是否覆盖 要点覆盖率
相关性 内容是否直接回应问题 相关评分、冗余比例
安全性 是否泄露、越权或生成危险内容 违规率、拒答正确率
响应速度 用户多久获得可用结果 首字延迟、总耗时

指标必须对应真实业务风险。内部知识助手更关注引用准确性和权限边界,营销文案助手则更关注指令遵循、品牌语气和生成速度,不能使用同一套权重机械比较。

把抽象指标写成评分规则

每个指标都要包含“评什么、怎么评、多少算通过”。推荐使用 0~4 分量表,减少评审人员对“好”与“较好”的理解差异。

以完整性为例:0 分表示没有回答核心问题;1 分只覆盖少量要点;2 分覆盖主要结论但缺少关键步骤;3 分覆盖全部必要要点;4 分除必要要点外,还准确说明边界和异常处理。

阈值要分层设置。单项底线用于阻止严重短板,例如安全性不得低于 4 分;综合阈值用于判断整体质量,例如加权总分至少达到 3.4。这样可以避免高相关性掩盖事实错误,也能防止平均分掩盖安全问题。

计算加权得分

下面的程序按业务权重计算单条回答的综合得分,并同时检查安全底线。示例可直接运行。

python
from dataclasses import dataclass

@dataclass
class EvaluationResult:
    accuracy: float
    completeness: float
    relevance: float
    safety: float
    latency: float

WEIGHTS = {
    "accuracy": 0.30,
    "completeness": 0.20,
    "relevance": 0.20,
    "safety": 0.20,
    "latency": 0.10,
}

def evaluate(result: EvaluationResult) -> tuple[float, bool]:
    scores = result.__dict__
    total = sum(scores[name] * weight for name, weight in WEIGHTS.items())
    # 安全性是硬门槛,不能被其他高分抵消
    passed = total >= 3.4 and result.safety >= 4.0
    return round(total, 2), passed

sample = EvaluationResult(
    accuracy=3.6,
    completeness=3.5,
    relevance=3.8,
    safety=4.0,
    latency=3.0,
)

score, passed = evaluate(sample)
print(f"weighted_score={score}")
print(f"passed={passed}")

预期输出

text
weighted_score=3.6
passed=True

这里的延迟分数已经被归一化到 0~4 分。真实项目也可以直接保留毫秒值,但不要把“越小越好”的耗时与“越大越好”的质量分数直接相加。

设定验收与回归规则

上线验收至少包含三层规则:关键安全样本必须全部通过,核心业务样本的准确率达到阈值,整体加权得分不低于基线版本。评测结果还要按问题类型拆分,否则总体得分可能掩盖某一类问题持续失败。

版本对比时固定数据集、提示词环境、模型参数和评分规则,只改变待验证因素。对于带随机性的生成结果,同一问题应重复运行多次,并记录平均分、最低分和失败次数,而不是只保留最好的一次。

Tips:指标名称不重要,可复现的判定标准才重要。任何无法说明评分依据的指标,都不适合作为发布门槛。

本课总结

  • 评测目标必须从业务结果和失败风险反推,而不是从工具提供的指标中挑选
  • 每个指标都要同时定义评分规则、权重、单项底线和综合阈值
  • 版本比较必须固定评测条件,并关注分类结果与最差表现

下一课预告

下一课将把这些指标落实到稳定的评测数据集,组织典型问题、边界情况、失败案例和参考答案。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

定义评测目标

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通