机器学习与深度学习 / 系统课时

使用准确率

使用准确率

学习目标

  • 掌握准确率的计算公式
  • 识别准确率适用与失效的场景
  • 结合基线判断模型是否真正有效

准确率回答什么问题

准确率表示全部样本中预测正确的比例,公式为 (TP + TN) / 全部样本数。它直观、易沟通,适合类别比较均衡、不同错误成本接近的任务。例如识别三种数量接近的花卉类别时,准确率通常能作为首要指标。

但准确率只统计“对了多少”,不会区分误报和漏报,也不会反映少数类别是否完全失效。因此它适合作为总览指标,不应在不平衡任务中单独使用。

计算并验证准确率

python
from sklearn.metrics import accuracy_score

y_true = [1, 1, 1, 0, 0, 0]
y_pred = [1, 0, 1, 1, 0, 0]

correct = sum(a == b for a, b in zip(y_true, y_pred))
manual_accuracy = correct / len(y_true)
library_accuracy = accuracy_score(y_true, y_pred)

print(f"手工计算: {manual_accuracy:.3f}")
print(f"库函数计算: {library_accuracy:.3f}")

预期输出:

text
手工计算: 0.667
库函数计算: 0.667

6 个样本中有 4 个预测正确,所以准确率为 4 / 6 ≈ 0.667。手工结果与库函数一致,说明标签和计算方向没有问题。

不平衡数据中的陷阱

假设 1000 个订单中只有 10 个欺诈订单。一个始终预测“正常”的模型可以得到 990 / 1000 = 99% 的准确率,但它一个欺诈订单也没有识别出来。这个结果只说明多数类占比高,不能证明模型有业务价值。

判断准确率是否可信,可以先计算多数类基线:始终预测样本最多的类别能达到多少准确率。模型准确率若只比该基线高一点,应继续查看召回率、精确率、F1 值和混淆矩阵。

使用判断标准

满足以下条件时,准确率更适合作为核心指标:各类别样本量接近;误报和漏报成本相近;测试集与真实分布一致。只要任一条件不满足,就应把准确率降为辅助指标,并明确报告每个类别的表现。

还要避免在训练集上报告准确率作为最终结果。训练准确率主要用于观察拟合程度,真正的泛化能力应在未参与训练的数据上评估。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

使用准确率

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通