大模型应用开发 / 系统课时
评估检索召回质量
评估检索召回质量
评估 RAG 检索召回质量的核心是判断系统是否找到了真正有帮助的知识片段。通过分析命中情况、排序结果和参数影响,可以定位文档切分、嵌入模型或检索策略导致的问题。
学习目标
- 理解 RAG 检索质量的主要评价指标。
- 掌握使用召回结果分析问题来源的方法。
- 学会根据指标调整检索参数。
检索质量关注什么
RAG 检索阶段的目标不是返回最多文档,而是在有限候选数量中找到最相关的信息。一个回答错误的问题,可能来自没有召回正确文档,也可能来自正确文档排名过低。常用指标包括:
| 指标 | 含义 |
|---|---|
| Hit Rate | 正确文档是否出现在结果中 |
| Recall | 所有相关文档被找回的比例 |
| MRR | 第一个正确结果排名位置的质量 |
| Precision@K | 前 K 个结果中的相关比例 |
使用评测脚本检查召回结果
实际项目中通常会保存每次查询返回的候选片段,然后与人工标注的相关文档进行比较。
python
queries = [
{
"question": "退款审批规则是什么?",
"expected": ["refund-policy-001"],
"retrieved": ["refund-policy-002", "refund-policy-001"]
}
]
for item in queries:
hit = any(doc in item["retrieved"] for doc in item["expected"])
print({"question": item["question"], "hit": hit})预期输出
text
{'question': '退款审批规则是什么?', 'hit': True}该结果表示检索结果中包含人工标注的目标文档,可以继续分析排名位置和相关程度。
根据指标定位问题
如果 Hit Rate 较低,通常说明查询理解、文档切分或嵌入表示存在问题。需要检查用户问题中的关键词是否保留,以及知识片段是否包含完整语义。
如果 Hit Rate 较高但回答质量差,说明召回已经找到相关内容,问题可能出现在排序、上下文长度限制或生成阶段。
优化时不要只调整 topK。增加候选数量可能提高召回率,但也会引入更多无关内容,降低模型处理效率。
优化检索参数
检索质量通常受多个参数影响,包括切分长度、重叠比例、向量模型、相似度阈值和排序策略。
可以通过固定评测集进行多轮实验,对比不同参数组合的指标变化。例如调整 chunk size 后重新计算 Recall,确认是否真的提升了知识覆盖。
按自己的节奏,确认真正理解。