大模型应用开发 / 系统课时
评估答案质量
评估答案质量
本课介绍如何系统评价 RAG 生成答案是否可靠。通过事实正确性、证据忠实度、问题相关性和表达完整性等维度,可以发现检索、生成或提示设计中的质量问题。
学习目标
- 理解 RAG 答案质量的主要评价维度
- 掌握人工评测与自动评测的基本方法
- 建立可持续优化知识库问答效果的检查流程
质量评价的核心维度
RAG 答案质量不能只看模型输出是否流畅,还需要判断答案是否基于正确证据、是否真正解决用户问题。通常需要从多个维度综合评价。
事实正确性关注答案中的结论是否符合真实知识。即使语言表达自然,如果包含错误事实,也会降低系统可信度。
证据忠实度关注生成内容是否来自检索到的文档。如果模型加入了检索结果之外的推测,就可能产生幻觉。
问题相关性关注答案是否回应用户真实意图,避免出现虽然正确但无关的内容。
表达完整性关注答案结构、解释深度和可读性,确保用户能够理解并采取行动。
建立评测数据集
高质量评测需要稳定的数据集。通常将真实用户问题、标准答案、参考文档和系统输出保存为评测样本。一个简单的评测数据结构如下:
json
{
"question": "如何修改用户密码?",
"context": ["用户管理文档片段"],
"answer": "管理员可以在设置页面修改密码。",
"score": {
"faithfulness": 1,
"relevance": 1
}
}预期结果
text
评测样本包含问题、证据、答案和质量评分字段,可用于后续批量分析。评测集应覆盖不同类型问题,包括简单查询、跨文档问题、无法回答的问题以及容易产生误导的问题。
使用评分流程定位问题
实际项目中可以采用人工评分、规则检查和模型辅助评分结合的方式。评测结果需要进一步关联 RAG 链路中的检索分数、重排结果和生成参数。例如,可以使用简单脚本统计不同维度的平均分:
python
scores = [
{"faithfulness": 1, "relevance": 1},
{"faithfulness": 0, "relevance": 1},
]
avg = sum(item["faithfulness"] for item in scores) / len(scores)
print(f"忠实度平均分: {avg:.2f}")预期输出
text
忠实度平均分: 0.50当忠实度较低时,通常需要检查检索内容是否不足;当相关性较低时,应检查查询改写和召回策略。
按自己的节奏,确认真正理解。