机器学习与深度学习 / 知识点

机器学习算法速查手册

手册条目

CODE
调整分类阈值

根据业务中的误报和漏报成本选择合适的分类概率阈值。

调整分类阈值

当模型已经能输出正类概率,但默认判定结果与业务成本不匹配时,用验证集调整阈值。漏报代价高时通常降低阈值,误报代价高时通常提高阈值;阈值只改变最终决策,不会重新训练模型或改善概率本身。

基本语法

二分类的判定规则是 y_pred = (y_prob >= threshold).astype(int)。阈值应在独立验证集或交叉验证结果上选择,测试集只用于最终评估。若直接在测试集上反复试阈值,会把测试信息泄漏到决策规则中,线上效果通常会被高估。

高频用法

下面同时观察混淆矩阵、精确率、召回率和 F1,快速判断不同阈值的取舍。

python
import numpy as np
from sklearn.metrics import confusion_matrix, precision_score, recall_score, f1_score

y_true = np.array([0, 0, 0, 0, 1, 1, 1, 1, 1, 1])
y_prob = np.array([0.05, 0.20, 0.35, 0.60, 0.25, 0.45, 0.55, 0.70, 0.85, 0.95])

for threshold in (0.30, 0.50, 0.70):
    y_pred = (y_prob >= threshold).astype(int)
    tn, fp, fn, tp = confusion_matrix(y_true, y_pred).ravel()
    precision = precision_score(y_true, y_pred, zero_division=0)
    recall = recall_score(y_true, y_pred, zero_division=0)
    f1 = f1_score(y_true, y_pred, zero_division=0)
    print(
        f"threshold={threshold:.2f} "
        f"TN={tn} FP={fp} FN={fn} TP={tp} "
        f"precision={precision:.3f} recall={recall:.3f} f1={f1:.3f}"
    )

预期输出

text
threshold=0.30 TN=2 FP=2 FN=1 TP=5 precision=0.714 recall=0.833 f1=0.769
threshold=0.50 TN=3 FP=1 FN=2 TP=4 precision=0.800 recall=0.667 f1=0.727
threshold=0.70 TN=4 FP=0 FN=3 TP=3 precision=1.000 recall=0.500 f1=0.667

读取时先看业务最不能接受的错误类型:阈值 0.30 漏报最少,适合召回优先;阈值 0.70 没有误报,但漏掉一半正类,适合误报成本极高的场景。生产中不要只按 F1 选阈值,应把误报和漏报换算成同一业务成本后比较。

风险与边界

在训练集上调阈值会过拟合,后果是离线指标很好、线上迅速回落;安全做法是保留验证集,或用交叉验证汇总多个折的最佳阈值。类别比例、渠道流量或欺诈手法变化后,原阈值也可能失效,应监控 FP、FN 和正类率并定期复核。

阈值调整不能修复失真的概率。例如输出 0.8 的样本实际只有约 50% 发生率时,应先做概率校准,再基于业务成本选阈值。概率估计与把分数转换为类别决策是两个不同问题。:contentReference[oaicite:0]{index=0}

排障清单

  • 全部预测为同一类:检查概率最小值、最大值和分位数,阈值可能落在分布之外。
  • 模型没有 predict_proba:改用 decision_function,但阈值单位不再是概率,不能直接照搬 0.5。
  • 验证集有效、线上失效:核对正类定义、样本时间窗口、类别比例和业务成本是否发生变化。
  • 指标冲突:明确主目标,例如“召回率至少 90%,在此约束下最大化精确率”,不要同时追求所有指标最大化。

速查:先定错误成本,再用独立验证数据选阈值,最后用未参与调参的测试集确认。

目录与阅读设置

记录一个想法

机器学习算法速查手册

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通