大模型应用开发 / 系统课时

评估答案质量

评估答案质量

本课介绍如何系统评价 RAG 生成答案是否可靠。通过事实正确性、证据忠实度、问题相关性和表达完整性等维度,可以发现检索、生成或提示设计中的质量问题。

学习目标

  • 理解 RAG 答案质量的主要评价维度
  • 掌握人工评测与自动评测的基本方法
  • 建立可持续优化知识库问答效果的检查流程

质量评价的核心维度

RAG 答案质量不能只看模型输出是否流畅,还需要判断答案是否基于正确证据、是否真正解决用户问题。通常需要从多个维度综合评价。

事实正确性关注答案中的结论是否符合真实知识。即使语言表达自然,如果包含错误事实,也会降低系统可信度。

证据忠实度关注生成内容是否来自检索到的文档。如果模型加入了检索结果之外的推测,就可能产生幻觉。

问题相关性关注答案是否回应用户真实意图,避免出现虽然正确但无关的内容。

表达完整性关注答案结构、解释深度和可读性,确保用户能够理解并采取行动。

建立评测数据集

高质量评测需要稳定的数据集。通常将真实用户问题、标准答案、参考文档和系统输出保存为评测样本。一个简单的评测数据结构如下:

json
{
  "question": "如何修改用户密码?",
  "context": ["用户管理文档片段"],
  "answer": "管理员可以在设置页面修改密码。",
  "score": {
    "faithfulness": 1,
    "relevance": 1
  }
}

预期结果

text
评测样本包含问题、证据、答案和质量评分字段,可用于后续批量分析。

评测集应覆盖不同类型问题,包括简单查询、跨文档问题、无法回答的问题以及容易产生误导的问题。

使用评分流程定位问题

实际项目中可以采用人工评分、规则检查和模型辅助评分结合的方式。评测结果需要进一步关联 RAG 链路中的检索分数、重排结果和生成参数。例如,可以使用简单脚本统计不同维度的平均分:

python
scores = [
    {"faithfulness": 1, "relevance": 1},
    {"faithfulness": 0, "relevance": 1},
]

avg = sum(item["faithfulness"] for item in scores) / len(scores)
print(f"忠实度平均分: {avg:.2f}")

预期输出

text
忠实度平均分: 0.50

当忠实度较低时,通常需要检查检索内容是否不足;当相关性较低时,应检查查询改写和召回策略。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

评估答案质量

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通