大模型应用开发 / 系统课时
计算命中率与排序指标
计算命中率与排序指标
单个案例能发现明显错误,却不能证明一套检索策略整体更好。本节使用标注的相关文档或片段计算 Recall@K、MRR 和 nDCG,把候选是否召回、首个相关结果的位置以及整体排序质量变成可以批量比较的数字。
学习目标
- 根据相关文档标注计算 Recall@K、MRR 与 nDCG@K
- 理解三个指标分别反映召回覆盖、首个命中位置和整体排序质量
- 用同一评测集比较切分、Embedding、混合召回和重排策略
先固定相关标注与排名
假设某个问题有两个人工确认的相关片段 d1 和 d2,系统返回的排名是 d3、d1、d4、d2、d5。当评估 K=3 时,前三名只有 d1 命中,因此不同指标会从不同角度描述这次结果。
| 排名 | 片段 | 是否相关 |
|---|---|---|
| 1 | d3 | 否 |
| 2 | d1 | 是 |
| 3 | d4 | 否 |
| 4 | d2 | 是 |
| 5 | d5 | 否 |
这里的相关标注必须来自稳定的评测集,而不是根据当前检索结果临时决定。否则每次实验的正确答案集合都在变化,指标就失去了可比性。
三个指标分别看什么
Recall@K 衡量前 K 个结果覆盖了多少相关证据。设相关集合为 G,前 K 个结果中的相关集合为 R_K,则 Recall@K = |R_K ∩ G| / |G|。上例中 Recall@3 = 1 / 2 = 0.5。
MRR 只关心第一个相关结果出现得有多早。若第一个相关结果位于第 r 名,则该问题的 reciprocal rank 为 1 / r;多个问题的 MRR 是这些值的平均数。上例首个相关结果位于第 2 名,因此该问题的 reciprocal rank 为 0.5。
nDCG@K 同时考虑多个相关结果及其排名,越靠前的相关结果贡献越大。使用二元相关性时,上例前三名的相关序列为 0, 1, 0,实际 DCG 约为 0.6309;理想前三名应把两个相关结果放在最前面,IDCG 约为 1.6309,因此 nDCG@3 约为 0.3869。
用 Python 计算单条指标
下面的完整示例使用二元相关标注计算三个指标。实际批量评测时,对每个问题分别计算,再对结果取平均即可。
import math
def recall_at_k(ranked_ids: list[str], relevant_ids: set[str], k: int) -> float:
if not relevant_ids:
return 0.0
hits = sum(1 for doc_id in ranked_ids[:k] if doc_id in relevant_ids)
return hits / len(relevant_ids)
def reciprocal_rank(ranked_ids: list[str], relevant_ids: set[str]) -> float:
for rank, doc_id in enumerate(ranked_ids, start=1):
if doc_id in relevant_ids:
return 1.0 / rank
return 0.0
def ndcg_at_k(ranked_ids: list[str], relevant_ids: set[str], k: int) -> float:
# 二元相关性:相关片段 gain=1,不相关片段 gain=0。
dcg = 0.0
for rank, doc_id in enumerate(ranked_ids[:k], start=1):
gain = 1.0 if doc_id in relevant_ids else 0.0
dcg += gain / math.log2(rank + 1)
# 理想排序把相关片段尽可能放在前 K 位。
ideal_hits = min(len(relevant_ids), k)
idcg = sum(1.0 / math.log2(rank + 1) for rank in range(1, ideal_hits + 1))
return dcg / idcg if idcg > 0 else 0.0
def main() -> None:
ranked_ids = ["d3", "d1", "d4", "d2", "d5"]
relevant_ids = {"d1", "d2"}
k = 3
print(f"Recall@{k}={recall_at_k(ranked_ids, relevant_ids, k):.4f}")
print(f"MRR={reciprocal_rank(ranked_ids, relevant_ids):.4f}")
print(f"nDCG@{k}={ndcg_at_k(ranked_ids, relevant_ids, k):.4f}")
if __name__ == "__main__":
main()预期输出
Recall@3=0.5000
MRR=0.5000
nDCG@3=0.3869用指标判断优化方向
三个指标不应互相替代。Recall@K 上升而 MRR 基本不变,通常表示系统找到了更多相关证据,但最早命中的位置没有改善;MRR 上升而 Recall@K 不变,说明第一个有效结果被提前了,但覆盖范围没有增加;nDCG 上升则通常意味着多个相关结果整体被排到了更靠前的位置。
比较切分方式、Embedding、混合召回和重排策略时,应在同一个评测集、同一个语料快照以及相同的 K 值上运行。否则语料数量、标注范围或候选深度变化,都可能让指标差异失去解释意义。
还应按问题类型分组观察,例如产品说明、制度政策和故障排查分别统计。总体平均值可能掩盖某一类问题的大幅退化,而真实客服流量往往正是由这些细分类别共同组成。
当一项策略只在少量案例上看起来更好,却不能稳定提高 Recall@K、MRR 或 nDCG,就不应仅凭演示案例上线。可重复的批量指标才适合用来判断检索改动是否真正带来收益。