机器学习与深度学习 / 系统课时
计算准确率与召回率
计算准确率与召回率
Precision@K 和 Recall@K 看似只是两个公式,真正容易出错的是评估口径:已交互物品什么时候过滤、没有正样本的用户是否参与平均、不同用户怎样汇总。本节用一个完整示例固定这些规则,并观察 K 改变后的指标变化。
学习目标
- 正确计算用户级 Precision@K 与 Recall@K
- 处理已交互过滤、无正样本用户和宏平均口径
- 理解列表长度 K 对两个指标的不同影响
先固定评估口径
对某个用户,设推荐列表前 K 个物品中命中的正样本数为 ,测试集正样本总数为 ,则:
Precision@K 回答“推荐出来的 K 个物品里有多少是对的”,Recall@K 回答“用户真正喜欢的物品里有多少被找回来了”。两者使用同一个命中数,但分母不同,因此不能互相替代。
离线评估还要先排除训练阶段已经交互过的物品。正确顺序是先过滤,再截取 Top K。如果先取 Top K 再删除历史物品,列表会无故变短,Precision 的分母和不同用户的候选机会都可能变得不一致。
对于测试集中没有正样本的用户,Recall 分母为 0,没有数学意义。一个清晰的宏平均口径是:只让“至少有一个测试正样本”的用户进入本轮 Precision 和 Recall 的宏平均,同时单独记录被跳过的用户数。这样两个指标使用相同用户集合,结果更容易解释。
按用户计算再做宏平均
下面的程序先过滤历史交互,再计算每个有效用户的指标。示例同时计算 K=1 和 K=3,用来观察列表变长后的变化。
from dataclasses import dataclass
@dataclass
class UserCase:
positives: set[str]
interacted: set[str]
ranked_items: list[str]
def evaluate_user(case: UserCase, k: int):
# 历史交互必须在截断 Top K 之前过滤。
filtered = [item for item in case.ranked_items if item not in case.interacted]
if len(filtered) < k:
raise ValueError('过滤后的候选数量不足 K,无法使用固定长度口径')
recommended = filtered[:k]
hits = sum(item in case.positives for item in recommended)
precision = hits / k
recall = hits / len(case.positives)
return precision, recall
def evaluate(cases: dict[str, UserCase], k: int):
values = []
print(f'K={k}')
for user_id, case in cases.items():
# 无正样本时 Recall 无定义,因此不进入本轮宏平均。
if not case.positives:
print(f'{user_id} skipped(no positives)')
continue
precision, recall = evaluate_user(case, k)
values.append((precision, recall))
print(f'{user_id} precision={precision:.3f} recall={recall:.3f}')
macro_precision = sum(value[0] for value in values) / len(values)
macro_recall = sum(value[1] for value in values) / len(values)
print(f'macro precision={macro_precision:.3f} recall={macro_recall:.3f}')
def main():
cases = {
'u1': UserCase({'i3', 'i5'}, {'i1'}, ['i1', 'i3', 'i2', 'i5', 'i6']),
'u2': UserCase({'i2'}, {'i4'}, ['i4', 'i2', 'i7', 'i8']),
'u3': UserCase(set(), {'i9'}, ['i9', 'i10', 'i11', 'i12']),
}
evaluate(cases, k=1)
evaluate(cases, k=3)
if __name__ == '__main__':
main()预期输出
K=1
u1 precision=1.000 recall=0.500
u2 precision=1.000 recall=1.000
u3 skipped(no positives)
macro precision=1.000 recall=0.750
K=3
u1 precision=0.667 recall=1.000
u2 precision=0.333 recall=1.000
u3 skipped(no positives)
macro precision=0.500 recall=1.000这里采用宏平均,即先得到每个用户的 Precision 和 Recall,再对用户取算术平均。它让每个用户拥有相同权重,不会因为某个重度用户拥有大量正样本就主导总体结果。
理解 K 带来的变化
示例中 K 从 1 增加到 3 后,宏平均 Precision 从 1.000 降到 0.500,而 Recall 从 0.750 升到 1.000。原因很直接:列表变长后可以找回更多正样本,但新增位置也更容易混入非正样本。
对于固定排序结果,随着 K 增大,Recall 通常不会下降,因为已经命中的物品仍保留在更长的前缀中;Precision 则没有这种保证。比较两个模型时必须使用相同 K,否则指标差异可能只是列表长度造成的。
容易破坏结果的边界
候选不足 K 时,不要悄悄改成用实际列表长度作为部分用户的 Precision 分母,否则不同用户实际上评估了不同的任务。可以补足候选、统一排除这些样本,或者单独定义另一套口径,但必须在报告中明确说明。
无正样本用户同样不能简单记作 Recall=0。它可能代表评估窗口内没有产生标签,而不是推荐系统“一个都没召回”。更可靠的报表应同时给出有效评估用户数和无正样本用户数,避免宏平均改善只是因为评估人群发生变化。
Precision@K 与 Recall@K 的计算本身并不复杂,可信度来自统一的数据切分、过滤顺序、用户集合和 K。只要这些口径固定下来,它们才适合用于模型版本之间的稳定比较。