机器学习与深度学习 / 系统课时
使用精确率与召回率
使用精确率与召回率
学习目标
- 理解精确率和召回率分别关注的错误
- 根据误报与漏报成本选择指标
- 使用代码计算并解释结果
两个指标的关注点
精确率回答“模型判为正类的样本中,有多少是真的正类”,公式为 TP / (TP + FP)。它对假正例敏感,适合误报成本高的场景,例如人工审核队列容量有限时,希望送审样本尽量准确。
召回率回答“真实正类中,有多少被模型找到了”,公式为 TP / (TP + FN)。它对假负例敏感,适合漏报成本高的场景,例如疾病筛查、设备故障预警和欺诈初筛。
计算一个分类结果
python
from sklearn.metrics import precision_score, recall_score
y_true = [1, 1, 1, 1, 0, 0, 0, 0]
y_pred = [1, 1, 0, 0, 1, 0, 0, 0]
precision = precision_score(y_true, y_pred)
recall = recall_score(y_true, y_pred)
print(f"精确率: {precision:.3f}")
print(f"召回率: {recall:.3f}")预期输出:
text
精确率: 0.667
召回率: 0.500模型一共预测了 3 个正类,其中 2 个正确,所以精确率为 2/3;真实共有 4 个正类,只找到 2 个,所以召回率为 2/4。
用成本选择重点
选择指标时先写清错误后果,而不是先看哪个数更高。若把正常交易误判为欺诈会导致大量客户投诉,应优先控制 FP,并关注精确率。若漏掉欺诈会造成直接资金损失,应优先控制 FN,并关注召回率。
真实项目通常需要约束而非单纯最大化。例如要求“召回率至少 90%,在此前提下让精确率尽可能高”。这种表达比“同时提高两个指标”更可执行,因为二者经常随阈值变化而相互制约。
阈值会改变结果
二分类模型常先输出概率,再用阈值转成标签。降低阈值会让更多样本被判为正类,通常提高召回率但降低精确率;提高阈值则通常相反。比较模型时,应确认使用相同测试集,并说明阈值来源。
当模型从未预测正类时,精确率分母为零。库函数可能发出警告或按配置返回 0。遇到这种情况,不要只关闭警告,应先检查模型是否因类别不平衡、阈值过高或特征失效而完全放弃少数类。
按自己的节奏,确认真正理解。