大模型应用开发 / 系统课时
评估检索召回
评估检索召回
检索器看起来“能搜到东西”并不代表找到了正确证据。本节用命中率、召回率和排名位置评估目标文档是否进入候选结果,并通过一个可运行脚本定位漏召回与排序偏后的问题。
学习目标
- 区分命中率、召回率和排名位置分别回答什么问题
- 用标注过的相关文档集合计算单条和整体检索指标
- 根据指标结果判断应优化查询、索引还是排序策略
先明确检索评估的输入
每条评测样本至少需要两个集合:人工标注的相关文档集合,以及检索器返回的 Top K 文档列表。评估时不要看生成答案,只比较“目标证据是否被检索出来”和“排在什么位置”。
例如,相关文档集合是 {doc-a, doc-c},检索结果前 3 名是 [doc-b, doc-a, doc-d]。这条样本命中了相关文档,但只找回了两个相关文档中的一个,因此“是否命中”和“召回了多少”是两个不同问题。
计算命中率、召回率和排名
对单条查询,Hit@K 表示前 K 个结果中是否至少包含一个相关文档;Recall@K 表示相关文档中有多少比例进入前 K;排名位置则观察第一个相关文档出现得有多靠前。
设相关文档集合为 ,前 K 个检索结果为 ,则:
如果只关心第一个相关结果的位置,可以记录 first_rank;也可以进一步计算倒数排名 1 / first_rank。对于没有相关文档的 no_answer 样本,不应强行套用召回率,而应单独评估系统是否避免返回高置信度伪相关结果。
用代码跑一组最小评测
下面的脚本计算三条样本的 Hit@3、Recall@3 和首个相关文档排名,并汇总平均值。示例只使用标准库,可直接运行。
samples = [
{
"id": "q-001",
"relevant": {"doc-a"},
"retrieved": ["doc-a", "doc-b", "doc-c"],
},
{
"id": "q-002",
"relevant": {"doc-c", "doc-d"},
"retrieved": ["doc-x", "doc-c", "doc-y"],
},
{
"id": "q-003",
"relevant": {"doc-z"},
"retrieved": ["doc-m", "doc-n", "doc-o"],
},
]
k = 3
hits = []
recalls = []
for sample in samples:
top_k = sample["retrieved"][:k]
matched = sample["relevant"].intersection(top_k)
hit = 1 if matched else 0
recall = len(matched) / len(sample["relevant"])
first_rank = next(
(rank for rank, doc_id in enumerate(top_k, start=1)
if doc_id in sample["relevant"]),
None,
)
hits.append(hit)
recalls.append(recall)
print(
sample["id"],
f"hit@{k}={hit}",
f"recall@{k}={recall:.2f}",
f"first_rank={first_rank}",
)
print(f"mean_hit@{k}={sum(hits) / len(hits):.2f}")
print(f"mean_recall@{k}={sum(recalls) / len(recalls):.2f}")预期输出
q-001 hit@3=1 recall@3=1.00 first_rank=1
q-002 hit@3=1 recall@3=0.50 first_rank=2
q-003 hit@3=0 recall@3=0.00 first_rank=None
mean_hit@3=0.67
mean_recall@3=0.50这里 q-002 虽然命中,但召回率只有 0.50,说明检索器漏掉了一半相关证据;q-003 则完全漏召回。两种问题不能只看一个整体平均分。
从指标反推优化方向
如果 Hit@K 很低,优先检查查询改写、分词、过滤条件、向量模型和文档切分,因为目标证据根本没有进入候选集。如果 Hit@K 较高但 first_rank 经常靠后,说明候选集有答案但排序不理想,应重点检查相似度、混合检索权重或 reranker。
如果 Recall@K 只有在增大 K 后才明显提升,说明检索覆盖还可以,但有效证据分散在较深位置。此时直接扩大 K 会增加上下文噪声和生成成本,通常更值得先改善排序。
检索评估的核心不是追求一个漂亮分数,而是建立“失败样本 → 指标表现 → 可行动优化方向”的映射。只要每次修改后都在同一评测集上重跑,就能判断优化是否真正改善了目标知识的召回与排名。