机器学习与深度学习 / 系统课时
绘制 ROC 曲线
绘制 ROC 曲线
学习目标
- 理解 ROC 曲线的横纵轴
- 使用预测概率绘制 ROC 曲线
- 根据阈值变化解释模型取舍
曲线表示什么
ROC 曲线把不同分类阈值下的真正率和假正率画在同一坐标系中。纵轴真正率 TPR 就是召回率,公式为 TP / (TP + FN);横轴假正率 FPR 为 FP / (FP + TN)。
阈值从高到低移动时,越来越多样本被判为正类,TPR 通常上升,FPR 也可能上升。曲线越靠近左上角,表示模型在较少误报的情况下找到了更多正类。
用概率绘制曲线
python
import matplotlib.pyplot as plt
from sklearn.metrics import roc_curve
y_true = [0, 0, 1, 1, 1]
y_score = [0.10, 0.40, 0.35, 0.80, 0.90]
fpr, tpr, thresholds = roc_curve(y_true, y_score)
# 对角线代表接近随机排序的参考线
plt.plot(fpr, tpr, marker="o", label="模型 ROC")
plt.plot([0, 1], [0, 1], linestyle="--", label="随机参考")
plt.xlabel("假正率 FPR")
plt.ylabel("真正率 TPR")
plt.legend()
plt.tight_layout()
plt.show()
for threshold, x, y in zip(thresholds, fpr, tpr):
print(f"阈值={threshold:.2f}, FPR={x:.2f}, TPR={y:.2f}")预期结果:
text
程序弹出 ROC 曲线窗口,并打印各阈值对应的 FPR 与 TPR。
第一项阈值可能显示为 inf,表示尚未把任何样本判为正类。具体阈值数组可能随 scikit-learn 版本略有差异,但曲线端点应从 (0, 0) 开始并最终到达 (1, 1)。
选择工作阈值
ROC 曲线不是直接给出“最佳阈值”,而是展示可选取舍。实际选择时应加入业务约束,例如“FPR 不超过 5% 时,让 TPR 最大”,或根据误报与漏报成本计算总损失。
阈值必须在验证集上选择,再到测试集上进行一次最终评估。若反复查看测试集并调整阈值,测试集就参与了开发过程,最终结果会偏乐观。
何时需要其他曲线
当正类非常稀少时,FPR 的分母包含大量负类,即使 FP 数量不少,FPR 仍可能很低。此时 ROC 看起来很好,但精确率可能不理想。应同时查看精确率—召回率曲线,并检查不同阈值下的真实误报数量。
ROC 曲线比较的是排序能力,不代表概率已经校准。两个模型可能有相近 ROC,但一个输出的 0.8 真正接近 80% 风险,另一个并不是。需要概率解释时,应另做校准评估。
按自己的节奏,确认真正理解。