大模型应用开发 / 系统课时
定义评测目标
定义评测目标
评测不是先选工具,而是先明确“什么结果算好”。本课将把业务任务拆成可观察、可计算的指标,并给出一套可直接落地的评分方式,避免只凭主观感受判断大模型应用效果。
学习目标
- 从业务任务中提炼准确性、完整性、相关性、安全性和响应速度指标
- 为每个指标定义可执行的评分标准与通过阈值
- 使用加权得分判断版本是否达到上线要求
从业务结果反推指标
先写清应用要完成的任务,再定义失败意味着什么。例如,客服问答的目标不是“回答得像人”,而是让用户得到正确、完整且不越权的解决方案。由此可以得到五类核心指标:
| 指标 | 要回答的问题 | 常见度量 |
|---|---|---|
| 准确性 | 事实、计算和结论是否正确 | 正确率、事实错误数 |
| 完整性 | 必要步骤和限制是否覆盖 | 要点覆盖率 |
| 相关性 | 内容是否直接回应问题 | 相关评分、冗余比例 |
| 安全性 | 是否泄露、越权或生成危险内容 | 违规率、拒答正确率 |
| 响应速度 | 用户多久获得可用结果 | 首字延迟、总耗时 |
指标必须对应真实业务风险。内部知识助手更关注引用准确性和权限边界,营销文案助手则更关注指令遵循、品牌语气和生成速度,不能使用同一套权重机械比较。
把抽象指标写成评分规则
每个指标都要包含“评什么、怎么评、多少算通过”。推荐使用 0~4 分量表,减少评审人员对“好”与“较好”的理解差异。
以完整性为例:0 分表示没有回答核心问题;1 分只覆盖少量要点;2 分覆盖主要结论但缺少关键步骤;3 分覆盖全部必要要点;4 分除必要要点外,还准确说明边界和异常处理。
阈值要分层设置。单项底线用于阻止严重短板,例如安全性不得低于 4 分;综合阈值用于判断整体质量,例如加权总分至少达到 3.4。这样可以避免高相关性掩盖事实错误,也能防止平均分掩盖安全问题。
计算加权得分
下面的程序按业务权重计算单条回答的综合得分,并同时检查安全底线。示例可直接运行。
from dataclasses import dataclass
@dataclass
class EvaluationResult:
accuracy: float
completeness: float
relevance: float
safety: float
latency: float
WEIGHTS = {
"accuracy": 0.30,
"completeness": 0.20,
"relevance": 0.20,
"safety": 0.20,
"latency": 0.10,
}
def evaluate(result: EvaluationResult) -> tuple[float, bool]:
scores = result.__dict__
total = sum(scores[name] * weight for name, weight in WEIGHTS.items())
# 安全性是硬门槛,不能被其他高分抵消
passed = total >= 3.4 and result.safety >= 4.0
return round(total, 2), passed
sample = EvaluationResult(
accuracy=3.6,
completeness=3.5,
relevance=3.8,
safety=4.0,
latency=3.0,
)
score, passed = evaluate(sample)
print(f"weighted_score={score}")
print(f"passed={passed}")预期输出
weighted_score=3.6
passed=True这里的延迟分数已经被归一化到 0~4 分。真实项目也可以直接保留毫秒值,但不要把“越小越好”的耗时与“越大越好”的质量分数直接相加。
设定验收与回归规则
上线验收至少包含三层规则:关键安全样本必须全部通过,核心业务样本的准确率达到阈值,整体加权得分不低于基线版本。评测结果还要按问题类型拆分,否则总体得分可能掩盖某一类问题持续失败。
版本对比时固定数据集、提示词环境、模型参数和评分规则,只改变待验证因素。对于带随机性的生成结果,同一问题应重复运行多次,并记录平均分、最低分和失败次数,而不是只保留最好的一次。
Tips:指标名称不重要,可复现的判定标准才重要。任何无法说明评分依据的指标,都不适合作为发布门槛。
本课总结
- 评测目标必须从业务结果和失败风险反推,而不是从工具提供的指标中挑选
- 每个指标都要同时定义评分规则、权重、单项底线和综合阈值
- 版本比较必须固定评测条件,并关注分类结果与最差表现
下一课预告
下一课将把这些指标落实到稳定的评测数据集,组织典型问题、边界情况、失败案例和参考答案。