机器学习与深度学习 / 系统课时
理解 AUC 指标
理解 AUC 指标
学习目标
- 理解 AUC 衡量的是排序能力
- 正确计算并比较 ROC AUC
- 识别 AUC 高但业务效果仍不足的情况
AUC 的核心解释
ROC AUC 是 ROC 曲线下的面积,取值通常在 0 到 1 之间。AUC 越大,说明模型越倾向于给正类样本更高的分数。一个常用解释是:随机抽取一个正类和一个负类,模型把正类排在负类前面的概率。
AUC 约为 0.5 表示排序接近随机;低于 0.5 可能意味着分数方向反了;接近 1 表示区分能力很强。它不依赖某一个固定阈值,适合初步比较候选模型。
计算两个模型的 AUC
python
from sklearn.metrics import roc_auc_score
y_true = [0, 0, 0, 1, 1, 1]
model_a = [0.10, 0.30, 0.40, 0.35, 0.80, 0.90]
model_b = [0.20, 0.25, 0.70, 0.40, 0.60, 0.80]
auc_a = roc_auc_score(y_true, model_a)
auc_b = roc_auc_score(y_true, model_b)
print(f"模型 A AUC: {auc_a:.3f}")
print(f"模型 B AUC: {auc_b:.3f}")预期输出:
text
模型 A AUC: 0.889
模型 B AUC: 0.778在这组样本上,模型 A 的整体排序能力更好。但这不代表模型 A 在所有业务阈值下都优于模型 B,仍需比较目标工作区间。
AUC 不回答的问题
AUC 不直接告诉你某个阈值下会产生多少误报和漏报,也不衡量概率值是否可信。一个模型可能 AUC 很高,但在要求 FPR 小于 1% 的区域表现一般;也可能排序很好,却因阈值设置不当而线上效果差。
类别分布发生变化时,AUC 相对稳定,但精确率会明显变化。因此上线前需要把 AUC 与混淆矩阵、精确率、召回率、阈值和实际样本规模一起报告。
比较时的注意事项
所有模型必须在同一测试集上计算 AUC。不要用训练集 AUC 比较,也不要把不同时间窗口、不同标签定义下的 AUC 直接并列。多分类任务还要说明采用 one-vs-rest 还是 one-vs-one,以及 macro 或 weighted 平均方式。
当样本量较小或正类很少时,AUC 波动可能很大。此时可使用交叉验证或置信区间评估稳定性,而不是根据小数点后三位做过度判断。
结果验收
计算 AUC 前应确认输入的是连续分数或概率,而不是已经阈值化的 0/1 标签。使用离散标签会丢失排序信息,使曲线只有少量点。验收时同时检查正类定义、分数方向、样本量和目标 FPR 区间,防止一个总体 AUC 被错误解读。
按自己的节奏,确认真正理解。