大模型应用开发 / 系统课时

评估检索召回

评估检索召回

检索器看起来“能搜到东西”并不代表找到了正确证据。本节用命中率、召回率和排名位置评估目标文档是否进入候选结果,并通过一个可运行脚本定位漏召回与排序偏后的问题。

学习目标

  • 区分命中率、召回率和排名位置分别回答什么问题
  • 用标注过的相关文档集合计算单条和整体检索指标
  • 根据指标结果判断应优化查询、索引还是排序策略

先明确检索评估的输入

每条评测样本至少需要两个集合:人工标注的相关文档集合,以及检索器返回的 Top K 文档列表。评估时不要看生成答案,只比较“目标证据是否被检索出来”和“排在什么位置”。

例如,相关文档集合是 {doc-a, doc-c},检索结果前 3 名是 [doc-b, doc-a, doc-d]。这条样本命中了相关文档,但只找回了两个相关文档中的一个,因此“是否命中”和“召回了多少”是两个不同问题。

计算命中率、召回率和排名

对单条查询,Hit@K 表示前 K 个结果中是否至少包含一个相关文档;Recall@K 表示相关文档中有多少比例进入前 K;排名位置则观察第一个相关文档出现得有多靠前。

设相关文档集合为 RR,前 K 个检索结果为 DKD_K,则:

Recall@K=∣R∩DK∣∣R∣Recall@K = \frac{|R \cap D_K|}{|R|}

如果只关心第一个相关结果的位置,可以记录 first_rank;也可以进一步计算倒数排名 1 / first_rank。对于没有相关文档的 no_answer 样本,不应强行套用召回率,而应单独评估系统是否避免返回高置信度伪相关结果。

用代码跑一组最小评测

下面的脚本计算三条样本的 Hit@3、Recall@3 和首个相关文档排名,并汇总平均值。示例只使用标准库,可直接运行。

python
samples = [
    {
        "id": "q-001",
        "relevant": {"doc-a"},
        "retrieved": ["doc-a", "doc-b", "doc-c"],
    },
    {
        "id": "q-002",
        "relevant": {"doc-c", "doc-d"},
        "retrieved": ["doc-x", "doc-c", "doc-y"],
    },
    {
        "id": "q-003",
        "relevant": {"doc-z"},
        "retrieved": ["doc-m", "doc-n", "doc-o"],
    },
]

k = 3
hits = []
recalls = []

for sample in samples:
    top_k = sample["retrieved"][:k]
    matched = sample["relevant"].intersection(top_k)
    hit = 1 if matched else 0
    recall = len(matched) / len(sample["relevant"])

    first_rank = next(
        (rank for rank, doc_id in enumerate(top_k, start=1)
         if doc_id in sample["relevant"]),
        None,
    )

    hits.append(hit)
    recalls.append(recall)
    print(
        sample["id"],
        f"hit@{k}={hit}",
        f"recall@{k}={recall:.2f}",
        f"first_rank={first_rank}",
    )

print(f"mean_hit@{k}={sum(hits) / len(hits):.2f}")
print(f"mean_recall@{k}={sum(recalls) / len(recalls):.2f}")

预期输出

text
q-001 hit@3=1 recall@3=1.00 first_rank=1
q-002 hit@3=1 recall@3=0.50 first_rank=2
q-003 hit@3=0 recall@3=0.00 first_rank=None
mean_hit@3=0.67
mean_recall@3=0.50

这里 q-002 虽然命中,但召回率只有 0.50,说明检索器漏掉了一半相关证据;q-003 则完全漏召回。两种问题不能只看一个整体平均分。

从指标反推优化方向

如果 Hit@K 很低,优先检查查询改写、分词、过滤条件、向量模型和文档切分,因为目标证据根本没有进入候选集。如果 Hit@K 较高但 first_rank 经常靠后,说明候选集有答案但排序不理想,应重点检查相似度、混合检索权重或 reranker。

如果 Recall@K 只有在增大 K 后才明显提升,说明检索覆盖还可以,但有效证据分散在较深位置。此时直接扩大 K 会增加上下文噪声和生成成本,通常更值得先改善排序。

检索评估的核心不是追求一个漂亮分数,而是建立“失败样本 → 指标表现 → 可行动优化方向”的映射。只要每次修改后都在同一评测集上重跑,就能判断优化是否真正改善了目标知识的召回与排名。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

评估检索召回

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通