机器学习与深度学习 / 系统课时

计算准确率与召回率

计算准确率与召回率

Precision@K 和 Recall@K 看似只是两个公式,真正容易出错的是评估口径:已交互物品什么时候过滤、没有正样本的用户是否参与平均、不同用户怎样汇总。本节用一个完整示例固定这些规则,并观察 K 改变后的指标变化。

学习目标

  • 正确计算用户级 Precision@K 与 Recall@K
  • 处理已交互过滤、无正样本用户和宏平均口径
  • 理解列表长度 K 对两个指标的不同影响

先固定评估口径

对某个用户,设推荐列表前 K 个物品中命中的正样本数为 HH,测试集正样本总数为 PP,则:

Precision@K=HKPrecision@K = \frac{H}{K}
Recall@K=HPRecall@K = \frac{H}{P}

Precision@K 回答“推荐出来的 K 个物品里有多少是对的”,Recall@K 回答“用户真正喜欢的物品里有多少被找回来了”。两者使用同一个命中数,但分母不同,因此不能互相替代。

离线评估还要先排除训练阶段已经交互过的物品。正确顺序是先过滤,再截取 Top K。如果先取 Top K 再删除历史物品,列表会无故变短,Precision 的分母和不同用户的候选机会都可能变得不一致。

对于测试集中没有正样本的用户,Recall 分母为 0,没有数学意义。一个清晰的宏平均口径是:只让“至少有一个测试正样本”的用户进入本轮 Precision 和 Recall 的宏平均,同时单独记录被跳过的用户数。这样两个指标使用相同用户集合,结果更容易解释。

按用户计算再做宏平均

下面的程序先过滤历史交互,再计算每个有效用户的指标。示例同时计算 K=1 和 K=3,用来观察列表变长后的变化。

python
from dataclasses import dataclass


@dataclass
class UserCase:
    positives: set[str]
    interacted: set[str]
    ranked_items: list[str]


def evaluate_user(case: UserCase, k: int):
    # 历史交互必须在截断 Top K 之前过滤。
    filtered = [item for item in case.ranked_items if item not in case.interacted]
    if len(filtered) < k:
        raise ValueError('过滤后的候选数量不足 K,无法使用固定长度口径')

    recommended = filtered[:k]
    hits = sum(item in case.positives for item in recommended)
    precision = hits / k
    recall = hits / len(case.positives)
    return precision, recall


def evaluate(cases: dict[str, UserCase], k: int):
    values = []
    print(f'K={k}')

    for user_id, case in cases.items():
        # 无正样本时 Recall 无定义,因此不进入本轮宏平均。
        if not case.positives:
            print(f'{user_id} skipped(no positives)')
            continue

        precision, recall = evaluate_user(case, k)
        values.append((precision, recall))
        print(f'{user_id} precision={precision:.3f} recall={recall:.3f}')

    macro_precision = sum(value[0] for value in values) / len(values)
    macro_recall = sum(value[1] for value in values) / len(values)
    print(f'macro precision={macro_precision:.3f} recall={macro_recall:.3f}')


def main():
    cases = {
        'u1': UserCase({'i3', 'i5'}, {'i1'}, ['i1', 'i3', 'i2', 'i5', 'i6']),
        'u2': UserCase({'i2'}, {'i4'}, ['i4', 'i2', 'i7', 'i8']),
        'u3': UserCase(set(), {'i9'}, ['i9', 'i10', 'i11', 'i12']),
    }

    evaluate(cases, k=1)
    evaluate(cases, k=3)


if __name__ == '__main__':
    main()

预期输出

text
K=1
u1 precision=1.000 recall=0.500
u2 precision=1.000 recall=1.000
u3 skipped(no positives)
macro precision=1.000 recall=0.750
K=3
u1 precision=0.667 recall=1.000
u2 precision=0.333 recall=1.000
u3 skipped(no positives)
macro precision=0.500 recall=1.000

这里采用宏平均,即先得到每个用户的 Precision 和 Recall,再对用户取算术平均。它让每个用户拥有相同权重,不会因为某个重度用户拥有大量正样本就主导总体结果。

理解 K 带来的变化

示例中 K 从 1 增加到 3 后,宏平均 Precision 从 1.000 降到 0.500,而 Recall 从 0.750 升到 1.000。原因很直接:列表变长后可以找回更多正样本,但新增位置也更容易混入非正样本。

对于固定排序结果,随着 K 增大,Recall 通常不会下降,因为已经命中的物品仍保留在更长的前缀中;Precision 则没有这种保证。比较两个模型时必须使用相同 K,否则指标差异可能只是列表长度造成的。

容易破坏结果的边界

候选不足 K 时,不要悄悄改成用实际列表长度作为部分用户的 Precision 分母,否则不同用户实际上评估了不同的任务。可以补足候选、统一排除这些样本,或者单独定义另一套口径,但必须在报告中明确说明。

无正样本用户同样不能简单记作 Recall=0。它可能代表评估窗口内没有产生标签,而不是推荐系统“一个都没召回”。更可靠的报表应同时给出有效评估用户数和无正样本用户数,避免宏平均改善只是因为评估人群发生变化。

Precision@K 与 Recall@K 的计算本身并不复杂,可信度来自统一的数据切分、过滤顺序、用户集合和 K。只要这些口径固定下来,它们才适合用于模型版本之间的稳定比较。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

计算准确率与召回率

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通