大模型应用开发 / 系统课时

分开评估检索与生成质量

分开评估检索与生成质量

端到端回答看起来正确,并不代表检索阶段真的找对了证据。本节把一次 RAG 请求拆成候选召回、排序、最终上下文和回答四个可观测位置,让检索失败与生成失败能够被分别发现和修复。

学习目标

  • 区分检索质量与生成质量,避免只看最终回答得分
  • 设计能保存候选片段、排名、最终上下文与回答的评测记录
  • 根据分层结果判断问题应该优先修检索还是修生成

为什么不能只评最终回答

RAG 的最终答案同时受检索和生成影响。如果只给回答打一个总分,就会把两类性质完全不同的问题混在一起:检索可能已经漏掉正确证据,但模型凭参数知识猜对了;也可能正确证据已经进入上下文,模型却遗漏、曲解或编造了答案。

因此,至少要分别回答两个问题:正确证据有没有被找到并送进模型,以及模型有没有忠实利用这些证据回答问题。前者属于检索层,后者属于生成层。

检索 生成 典型现象 优先动作
通过 通过 正确证据进入上下文,回答也正确 保持当前方案
失败 通过 模型碰巧答对,但证据缺失 修切分、召回、排序
通过 失败 证据充分,回答却遗漏或幻觉 修提示词、模型或生成约束
失败 失败 找错资料,回答也错误 先修检索,再重新评生成

检索与生成分层评测数据流

保存可追溯的评测记录

一条评测记录不能只保存问题和回答。为了复盘检索链路,应保留原始候选、候选顺序、各阶段分数、最终选入上下文的片段,以及人工标注的相关证据。生成侧则至少保存最终回答和针对忠实性、完整性的判定。

片段示例:下面的数据结构表示一次评测记录,字段名可以按实际系统调整,但四个观测位置不应被合并掉。

json
{
  "question": "企业报销单需要保存多久?",
  "goldEvidenceIds": ["policy-17#p3"],
  "candidates": [
    {"id": "policy-09#p2", "score": 0.81},
    {"id": "policy-17#p3", "score": 0.78}
  ],
  "rankedCandidateIds": ["policy-17#p3", "policy-09#p2"],
  "finalContextIds": ["policy-17#p3"],
  "answer": "报销单及其附件应保存 10 年。",
  "answerJudgement": {
    "faithful": true,
    "complete": true
  }
}

验证这类记录时,应确认候选集合能够还原召回结果,排名能够还原重排结果,finalContextIds 与真实发送给模型的上下文一致,并且回答判定基于同一次请求,而不是事后重新生成的内容。

按固定顺序定位失败

诊断时先看检索,再看生成,可以避免把上游错误误判成模型能力问题。

  1. 检查人工标注的相关证据是否出现在候选集合中。没有出现,说明召回阶段已经失败。
  2. 检查相关证据在排序后的名次。候选中存在但排得过低,说明排序或重排需要优化。
  3. 检查相关证据是否真正进入最终上下文。排名足够靠前却被截断,通常是上下文预算、去重或过滤规则的问题。
  4. 只有证据已经正确进入上下文后,再评价回答是否忠实、完整并直接回答问题。

让两层实验互不干扰

评估检索方案时,应尽量固定生成模型、提示词和上下文组装规则,只比较切分方式、Embedding、混合召回或重排的变化。这样候选命中和排序变化才能归因到检索策略本身。

评估生成方案时,则应固定一组已经确认正确的上下文,再比较提示词、模型版本、引用约束或解码参数。否则检索结果同时变化,就无法判断回答提升究竟来自模型还是来自更好的证据。

上线后的评测记录也应保留这两个层次。这样当端到端正确率下降时,可以先判断是相关证据没有进入上下文,还是模型没有正确使用已经提供的证据,再把优化资源投入真正失败的环节。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

分开评估检索与生成质量

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通