大模型应用开发 / 系统课时

排查检索结果不准

排查检索结果不准

当 RAG 返回的片段与问题不相关时,不要先调大 top_k。更高效的做法是按数据、切分、向量、过滤、查询改写、重排序逐层定位:每一层只回答一个问题——相关内容是否在这一层被正确保留并排到前面。

学习目标

  • 按固定顺序定位检索质量问题,避免同时改多个变量。
  • 用可观测指标区分数据缺失、切分失真、向量不匹配和过滤误杀。
  • 确认查询改写与重排序是在改善结果,而不是掩盖上游问题。

先固定一条可复现查询

先选一条“明确知道正确答案在哪份文档里”的查询,并记录查询文本、期望文档、期望片段、过滤条件、候选数量和最终排序。没有这条基准,后续每改一个参数都无法判断是变好还是只是换了一批结果。

建议先关闭查询改写和重排序,只保留最基础的向量检索。这样可以把问题范围压缩到“数据是否存在、切分是否合理、向量是否能召回、过滤是否误杀”四层。

检索质量排查顺序

按数据与切分先排除上游问题

先查知识库里是否真的存在目标内容,并确认版本没有过期。若原文缺失、采集失败、权限同步漏掉,后面的向量模型和重排序器都无法补救。能通过文档 ID 或标题定位到原文后,再看目标事实是否被完整地保留在某个 chunk 中。

切分问题常表现为两类:片段过短,关键主语、条件或标题被切走;片段过长,主题被无关内容稀释。排查时记录目标 chunk 的正文、前后相邻 chunk、来源标题和字符数,不要只看最终命中的摘要。

再检查向量与过滤

确认目标 chunk 已经入库后,使用原始问题直接做向量检索,并暂时移除业务过滤条件。若目标 chunk 能进入候选集,说明 embedding 至少具备基本召回能力;若完全召回不到,再检查索引使用的 embedding 模型、查询侧模型、向量维度和归一化策略是否一致。

若移除过滤后能命中、加回过滤就消失,问题通常在元数据。重点检查字段类型、枚举值、租户或权限条件、时间范围,以及空值是否被意外排除。过滤条件应能在日志中完整还原,不能只记录“过滤已开启”。

下面的脚本把一组观测信号按固定顺序做最小判定。把布尔值替换成你线上探针得到的真实结果即可运行。

python
checks = {
    "source_exists": True,
    "target_chunk_exists": True,
    "vector_recalled": True,
    "passes_filter": False,
    "rewrite_preserves_intent": True,
    "reranker_promotes_relevant": True,
}

order = [
    ("source_exists", "数据缺失或采集失败"),
    ("target_chunk_exists", "切分未保留目标信息"),
    ("vector_recalled", "向量召回异常"),
    ("passes_filter", "过滤条件误杀"),
    ("rewrite_preserves_intent", "查询改写偏离原意"),
    ("reranker_promotes_relevant", "重排序压低相关片段"),
]

for key, message in order:
    if not checks[key]:
        print(message)
        break
else:
    print("基础链路正常,继续检查样本覆盖和阈值")

预期输出

text
过滤条件误杀

实际系统中的布尔值应来自检索日志或离线评测,输出内容也可以改成阶段名和请求 ID。

最后验证查询改写与重排序

只有基础向量检索已经能把正确 chunk 放进候选集,才应重新开启查询改写。对比改写前后的查询文本与候选集:如果改写删除了专有名词、版本号、时间条件或否定词,就可能把原本可检索的问题变成另一个问题。

重排序器也只能对候选集重新排序,不能找回没有召回的文档。检查正确 chunk 在 rerank 前后的名次与分数;如果候选集中本来排名靠前,重排后反而下降,应检查训练领域是否匹配、输入截断长度以及 reranker 接收到的 query 和 document 是否完整。

用单变量变更确认修复

一次只修改一个层级,例如只放宽过滤、只调整 chunk 大小,或只关闭查询改写,然后重新跑同一组基准问题。至少记录 Recall@K、目标 chunk 是否进入候选集、最终名次,以及失败样本的共同特征。

当正确内容能够稳定出现在候选集且排序靠前,才说明检索层修复完成。若候选证据已经准确,但最终回答仍然无依据,就应转向答案生成链路排查,而不是继续“优化检索分数”。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

排查检索结果不准

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通