大模型应用开发 / 系统课时

计算命中率与排序指标

计算命中率与排序指标

单个案例能发现明显错误,却不能证明一套检索策略整体更好。本节使用标注的相关文档或片段计算 Recall@K、MRR 和 nDCG,把候选是否召回、首个相关结果的位置以及整体排序质量变成可以批量比较的数字。

学习目标

  • 根据相关文档标注计算 Recall@K、MRR 与 nDCG@K
  • 理解三个指标分别反映召回覆盖、首个命中位置和整体排序质量
  • 用同一评测集比较切分、Embedding、混合召回和重排策略

先固定相关标注与排名

假设某个问题有两个人工确认的相关片段 d1 和 d2,系统返回的排名是 d3、d1、d4、d2、d5。当评估 K=3 时,前三名只有 d1 命中,因此不同指标会从不同角度描述这次结果。

排名 片段 是否相关
1 d3 否
2 d1 是
3 d4 否
4 d2 是
5 d5 否

这里的相关标注必须来自稳定的评测集,而不是根据当前检索结果临时决定。否则每次实验的正确答案集合都在变化,指标就失去了可比性。

三个指标分别看什么

Recall@K 衡量前 K 个结果覆盖了多少相关证据。设相关集合为 G,前 K 个结果中的相关集合为 R_K,则 Recall@K = |R_K ∩ G| / |G|。上例中 Recall@3 = 1 / 2 = 0.5。

MRR 只关心第一个相关结果出现得有多早。若第一个相关结果位于第 r 名,则该问题的 reciprocal rank 为 1 / r;多个问题的 MRR 是这些值的平均数。上例首个相关结果位于第 2 名,因此该问题的 reciprocal rank 为 0.5。

nDCG@K 同时考虑多个相关结果及其排名,越靠前的相关结果贡献越大。使用二元相关性时,上例前三名的相关序列为 0, 1, 0,实际 DCG 约为 0.6309;理想前三名应把两个相关结果放在最前面,IDCG 约为 1.6309,因此 nDCG@3 约为 0.3869。

用 Python 计算单条指标

下面的完整示例使用二元相关标注计算三个指标。实际批量评测时,对每个问题分别计算,再对结果取平均即可。

python
import math


def recall_at_k(ranked_ids: list[str], relevant_ids: set[str], k: int) -> float:
    if not relevant_ids:
        return 0.0
    hits = sum(1 for doc_id in ranked_ids[:k] if doc_id in relevant_ids)
    return hits / len(relevant_ids)


def reciprocal_rank(ranked_ids: list[str], relevant_ids: set[str]) -> float:
    for rank, doc_id in enumerate(ranked_ids, start=1):
        if doc_id in relevant_ids:
            return 1.0 / rank
    return 0.0


def ndcg_at_k(ranked_ids: list[str], relevant_ids: set[str], k: int) -> float:
    # 二元相关性:相关片段 gain=1,不相关片段 gain=0。
    dcg = 0.0
    for rank, doc_id in enumerate(ranked_ids[:k], start=1):
        gain = 1.0 if doc_id in relevant_ids else 0.0
        dcg += gain / math.log2(rank + 1)

    # 理想排序把相关片段尽可能放在前 K 位。
    ideal_hits = min(len(relevant_ids), k)
    idcg = sum(1.0 / math.log2(rank + 1) for rank in range(1, ideal_hits + 1))
    return dcg / idcg if idcg > 0 else 0.0


def main() -> None:
    ranked_ids = ["d3", "d1", "d4", "d2", "d5"]
    relevant_ids = {"d1", "d2"}
    k = 3

    print(f"Recall@{k}={recall_at_k(ranked_ids, relevant_ids, k):.4f}")
    print(f"MRR={reciprocal_rank(ranked_ids, relevant_ids):.4f}")
    print(f"nDCG@{k}={ndcg_at_k(ranked_ids, relevant_ids, k):.4f}")


if __name__ == "__main__":
    main()

预期输出

text
Recall@3=0.5000
MRR=0.5000
nDCG@3=0.3869

用指标判断优化方向

三个指标不应互相替代。Recall@K 上升而 MRR 基本不变,通常表示系统找到了更多相关证据,但最早命中的位置没有改善;MRR 上升而 Recall@K 不变,说明第一个有效结果被提前了,但覆盖范围没有增加;nDCG 上升则通常意味着多个相关结果整体被排到了更靠前的位置。

比较切分方式、Embedding、混合召回和重排策略时,应在同一个评测集、同一个语料快照以及相同的 K 值上运行。否则语料数量、标注范围或候选深度变化,都可能让指标差异失去解释意义。

还应按问题类型分组观察,例如产品说明、制度政策和故障排查分别统计。总体平均值可能掩盖某一类问题的大幅退化,而真实客服流量往往正是由这些细分类别共同组成。

当一项策略只在少量案例上看起来更好,却不能稳定提高 Recall@K、MRR 或 nDCG,就不应仅凭演示案例上线。可重复的批量指标才适合用来判断检索改动是否真正带来收益。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

计算命中率与排序指标

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通