机器学习与深度学习 / 系统课时
使用准确率
使用准确率
学习目标
- 掌握准确率的计算公式
- 识别准确率适用与失效的场景
- 结合基线判断模型是否真正有效
准确率回答什么问题
准确率表示全部样本中预测正确的比例,公式为 (TP + TN) / 全部样本数。它直观、易沟通,适合类别比较均衡、不同错误成本接近的任务。例如识别三种数量接近的花卉类别时,准确率通常能作为首要指标。
但准确率只统计“对了多少”,不会区分误报和漏报,也不会反映少数类别是否完全失效。因此它适合作为总览指标,不应在不平衡任务中单独使用。
计算并验证准确率
python
from sklearn.metrics import accuracy_score
y_true = [1, 1, 1, 0, 0, 0]
y_pred = [1, 0, 1, 1, 0, 0]
correct = sum(a == b for a, b in zip(y_true, y_pred))
manual_accuracy = correct / len(y_true)
library_accuracy = accuracy_score(y_true, y_pred)
print(f"手工计算: {manual_accuracy:.3f}")
print(f"库函数计算: {library_accuracy:.3f}")预期输出:
text
手工计算: 0.667
库函数计算: 0.6676 个样本中有 4 个预测正确,所以准确率为 4 / 6 ≈ 0.667。手工结果与库函数一致,说明标签和计算方向没有问题。
不平衡数据中的陷阱
假设 1000 个订单中只有 10 个欺诈订单。一个始终预测“正常”的模型可以得到 990 / 1000 = 99% 的准确率,但它一个欺诈订单也没有识别出来。这个结果只说明多数类占比高,不能证明模型有业务价值。
判断准确率是否可信,可以先计算多数类基线:始终预测样本最多的类别能达到多少准确率。模型准确率若只比该基线高一点,应继续查看召回率、精确率、F1 值和混淆矩阵。
使用判断标准
满足以下条件时,准确率更适合作为核心指标:各类别样本量接近;误报和漏报成本相近;测试集与真实分布一致。只要任一条件不满足,就应把准确率降为辅助指标,并明确报告每个类别的表现。
还要避免在训练集上报告准确率作为最终结果。训练准确率主要用于观察拟合程度,真正的泛化能力应在未参与训练的数据上评估。
按自己的节奏,确认真正理解。