大模型应用开发 / 系统课时

定位漏召回与错误召回

定位漏召回与错误召回

当客服问答出现“明明知识库里有却找不到”或“召回了一堆不相关内容”时,最有效的做法不是先把 topK 调大,而是保存检索链路每一层的候选、分数和过滤结果,用失败样本逐层定位问题发生在哪个环节。

学习目标

  • 能把一次失败检索拆成入库、切分、初召回、过滤和重排五个检查点
  • 能根据候选与分数判断未入库、切分错误、过滤过严、向量偏差和重排误判
  • 能用最小诊断脚本复现失败,并验证修复是否真正改善召回

先把失败链路完整记录下来

排查检索质量时,至少要保存用户问题、目标文档标识、初召回候选、向量分数、过滤原因、重排分数和最终排名。否则你只看到最终 topK,很难判断正确文档究竟是没被检索到,还是中途被过滤或重排挤掉。

检索失败分层诊断流程

一个实用原则是:先确认目标内容在哪一层第一次消失。目标文档从未入库开始就不存在,与它曾经进入初召回但被重排压到后面,是两类完全不同的问题,修复手段也不同。

用最小样本复现一次失败

下面的脚本模拟一条检索链路,并打印每层候选。实际系统中可把同样的字段写入结构化日志或评测表。

python
from dataclasses import dataclass

@dataclass
class Candidate:
    chunk_id: str
    vector_score: float
    category: str
    rerank_score: float | None = None

query = "企业版是否支持单点登录"
target_chunk = "doc-sso-01"

initial = [
    Candidate("doc-billing-02", 0.82, "billing"),
    Candidate("doc-sso-01", 0.79, "security"),
    Candidate("doc-login-03", 0.77, "security"),
]

# 模拟一个错误过滤条件:只保留 billing 类文档。
filtered = [c for c in initial if c.category == "billing"]

# 实际系统中这一层通常由 reranker 产生分数。
for c in filtered:
    c.rerank_score = 0.91 if c.chunk_id == "doc-billing-02" else 0.0

print("initial:", [(c.chunk_id, c.vector_score) for c in initial])
print("filtered:", [c.chunk_id for c in filtered])
print("target_in_initial:", any(c.chunk_id == target_chunk for c in initial))
print("target_after_filter:", any(c.chunk_id == target_chunk for c in filtered))

预期输出

text
initial: [('doc-billing-02', 0.82), ('doc-sso-01', 0.79), ('doc-login-03', 0.77)]
filtered: ['doc-billing-02']
target_in_initial: True
target_after_filter: False

这组结果说明正确块已经进入向量初召回,因此不是“向量完全召不回来”;它在过滤后消失,根因应优先检查元数据条件,而不是提高 topK 或更换嵌入模型。

按目标内容第一次消失的位置判断根因

如果原始知识源中就找不到目标内容,先查同步任务、权限范围、解析失败和文档版本。此时调整检索参数没有意义,因为检索器无法召回一个根本没有入库的对象。

如果文档已经入库,但目标答案被切在错误位置,要检查 chunk 边界。典型现象是标题、条件和结论被拆开,单个 chunk 缺少能与问题对齐的完整语义。修复应优先调整按标题或段落切分、重叠窗口和表格解析。

如果目标 chunk 能进入未过滤的候选,却在过滤后消失,重点检查租户、产品线、语言、版本和权限条件。过滤器应记录“为什么被排除”,否则很容易把过滤过严误判成向量召回差。

如果目标 chunk 连较大的候选池都进不来,再看向量偏差。可比较失败问题与目标 chunk 的相似度、同义表达覆盖、embedding 模型是否适合当前语言和领域,以及 query 是否需要改写。

如果目标 chunk 初召回排名不错,但重排后大幅下降,则检查 reranker 输入是否被截断、query 与 passage 拼接是否正确,以及重排模型是否把“表面词匹配”当成更强相关性。重排层必须保存重排前后名次,不能只留最终结果。

不要用增大 topK 掩盖问题

增大 topK 只是在初召回阶段扩大候选池。它可能临时让正确文档“碰巧进入”,但也会增加重排成本、噪声和延迟。如果根因是未入库、错误过滤或重排误判,topK 再大也不能真正修复问题。

更稳妥的验证方式是建立一小组已知正确证据的失败问题,记录修复前后的 Recall@K、目标 chunk 初召回名次、过滤存活率和重排后名次。只要目标文档在某一层仍持续消失,就说明根因尚未消除。

用证据链验证修复

一次有效修复应该能回答三个问题:目标内容是否存在于索引中,是否进入足够靠前的初召回候选,是否能经过过滤和重排进入最终上下文。每次只改一个变量,再用同一批失败样本回放,才能知道改动真正改善的是哪一层。

当日志能保留“每层候选 + 分数 + 淘汰原因”时,漏召回和错误召回就不再是模糊的模型问题,而会变成可以定位到具体阶段的工程故障;这比无差别放大 topK 更可控,也更容易长期回归。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

定位漏召回与错误召回

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通