大模型应用开发 / 系统课时

设计 RAG 评测集

设计 RAG 评测集

设计 RAG 评测集的目标是建立一套能够真实反映业务效果的问题集合,用于验证检索、生成和知识覆盖能力。通过准备问题、参考答案、相关文档与不可回答样例,可以在系统优化前后进行客观比较。

学习目标

  • 理解 RAG 评测集包含的核心数据结构。
  • 掌握从真实业务场景构造测试问题的方法。
  • 学会设计可用于质量分析的标注样例。

评测集的组成结构

一个完整的 RAG 评测集不仅包含用户问题,还需要记录检索和回答阶段的参考信息。最基础的数据项包括问题、标准答案、相关知识片段以及该问题是否应该被回答。常见结构如下:

字段 作用
question 模拟真实用户提出的问题
referenceAnswer 人工确认的正确答案
relevantDocuments 应被检索命中的文档标识
answerable 判断知识库是否覆盖该问题

评测数据应来自真实业务,而不是只根据技术人员的想象编写。真实问题中的表达方式、简称、上下文缺失和错误描述,才能暴露 RAG 系统的问题。

从业务知识构造问题样例

构建评测集时,需要覆盖不同难度的问题类型。简单查询用于验证基础召回能力,复杂问题用于验证多轮推理和知识组合能力。

可以先整理业务文档中的高频内容,再转换为用户视角的问题。例如,将“退款流程需要审批三级节点”转换为“退款超过多少金额需要审批?”这样的自然语言请求。一个简单的评测样例文件可以如下表示:

json
{
  "question": "退款超过多少金额需要审批?",
  "referenceAnswer": "超过 5000 元需要进入审批流程。",
  "relevantDocuments": ["refund-policy-001"],
  "answerable": true
}

预期输出

text
评测样例包含用户问题、参考答案、关联文档和可回答标记。

设计不可回答样例

高质量评测集必须包含不可回答问题,用于检测模型是否会编造答案。如果知识库没有相关内容,系统应该明确说明无法找到依据,而不是生成看似合理的结果。

不可回答样例需要标记原因,例如知识缺失、权限限制或问题超出业务范围。这样可以区分检索失败和生成阶段的问题。

保持评测集长期有效

评测集不是一次性测试文件,而是 RAG 系统持续优化的基准。新增业务知识、出现线上错误回答后,都应该补充新的样例。

维护时需要关注样例覆盖率,避免所有问题集中在少数文档或单一业务流程中。一个偏科的评测集会导致优化方向错误。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

设计 RAG 评测集

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通