大模型应用开发 / 系统课时

评估检索召回质量

评估检索召回质量

评估 RAG 检索召回质量的核心是判断系统是否找到了真正有帮助的知识片段。通过分析命中情况、排序结果和参数影响,可以定位文档切分、嵌入模型或检索策略导致的问题。

学习目标

  • 理解 RAG 检索质量的主要评价指标。
  • 掌握使用召回结果分析问题来源的方法。
  • 学会根据指标调整检索参数。

检索质量关注什么

RAG 检索阶段的目标不是返回最多文档,而是在有限候选数量中找到最相关的信息。一个回答错误的问题,可能来自没有召回正确文档,也可能来自正确文档排名过低。常用指标包括:

指标 含义
Hit Rate 正确文档是否出现在结果中
Recall 所有相关文档被找回的比例
MRR 第一个正确结果排名位置的质量
Precision@K 前 K 个结果中的相关比例

使用评测脚本检查召回结果

实际项目中通常会保存每次查询返回的候选片段,然后与人工标注的相关文档进行比较。

python
queries = [
    {
        "question": "退款审批规则是什么?",
        "expected": ["refund-policy-001"],
        "retrieved": ["refund-policy-002", "refund-policy-001"]
    }
]

for item in queries:
    hit = any(doc in item["retrieved"] for doc in item["expected"])
    print({"question": item["question"], "hit": hit})

预期输出

text
{'question': '退款审批规则是什么?', 'hit': True}

该结果表示检索结果中包含人工标注的目标文档,可以继续分析排名位置和相关程度。

根据指标定位问题

如果 Hit Rate 较低,通常说明查询理解、文档切分或嵌入表示存在问题。需要检查用户问题中的关键词是否保留,以及知识片段是否包含完整语义。

如果 Hit Rate 较高但回答质量差,说明召回已经找到相关内容,问题可能出现在排序、上下文长度限制或生成阶段。

优化时不要只调整 topK。增加候选数量可能提高召回率,但也会引入更多无关内容,降低模型处理效率。

优化检索参数

检索质量通常受多个参数影响,包括切分长度、重叠比例、向量模型、相似度阈值和排序策略。

可以通过固定评测集进行多轮实验,对比不同参数组合的指标变化。例如调整 chunk size 后重新计算 Recall,确认是否真的提升了知识覆盖。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

评估检索召回质量

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通