大模型应用开发 / 系统课时
设计 RAG 评测集
设计 RAG 评测集
设计 RAG 评测集的目标是建立一套能够真实反映业务效果的问题集合,用于验证检索、生成和知识覆盖能力。通过准备问题、参考答案、相关文档与不可回答样例,可以在系统优化前后进行客观比较。
学习目标
- 理解 RAG 评测集包含的核心数据结构。
- 掌握从真实业务场景构造测试问题的方法。
- 学会设计可用于质量分析的标注样例。
评测集的组成结构
一个完整的 RAG 评测集不仅包含用户问题,还需要记录检索和回答阶段的参考信息。最基础的数据项包括问题、标准答案、相关知识片段以及该问题是否应该被回答。常见结构如下:
| 字段 | 作用 |
|---|---|
| question | 模拟真实用户提出的问题 |
| referenceAnswer | 人工确认的正确答案 |
| relevantDocuments | 应被检索命中的文档标识 |
| answerable | 判断知识库是否覆盖该问题 |
评测数据应来自真实业务,而不是只根据技术人员的想象编写。真实问题中的表达方式、简称、上下文缺失和错误描述,才能暴露 RAG 系统的问题。
从业务知识构造问题样例
构建评测集时,需要覆盖不同难度的问题类型。简单查询用于验证基础召回能力,复杂问题用于验证多轮推理和知识组合能力。
可以先整理业务文档中的高频内容,再转换为用户视角的问题。例如,将“退款流程需要审批三级节点”转换为“退款超过多少金额需要审批?”这样的自然语言请求。一个简单的评测样例文件可以如下表示:
json
{
"question": "退款超过多少金额需要审批?",
"referenceAnswer": "超过 5000 元需要进入审批流程。",
"relevantDocuments": ["refund-policy-001"],
"answerable": true
}预期输出
text
评测样例包含用户问题、参考答案、关联文档和可回答标记。设计不可回答样例
高质量评测集必须包含不可回答问题,用于检测模型是否会编造答案。如果知识库没有相关内容,系统应该明确说明无法找到依据,而不是生成看似合理的结果。
不可回答样例需要标记原因,例如知识缺失、权限限制或问题超出业务范围。这样可以区分检索失败和生成阶段的问题。
保持评测集长期有效
评测集不是一次性测试文件,而是 RAG 系统持续优化的基准。新增业务知识、出现线上错误回答后,都应该补充新的样例。
维护时需要关注样例覆盖率,避免所有问题集中在少数文档或单一业务流程中。一个偏科的评测集会导致优化方向错误。
按自己的节奏,确认真正理解。