机器学习与深度学习 / 系统课时
处理类别不平衡
处理类别不平衡
学习目标
- 识别类别不平衡对训练与评估的影响
- 选择类别权重、重采样或阈值调整
- 避免数据泄漏和错误评估
先确认问题是否存在
类别不平衡是指某些类别样本远少于其他类别。它不一定是错误,例如欺诈本来就稀少;真正的问题是模型为了优化整体损失而忽略少数类,导致少数类召回率极低。
处理前先统计训练集、验证集和测试集的类别数量,并查看混淆矩阵、每类召回率和精确率。不要只根据“正类占比低”就立即重采样,因为某些算法配合合适指标和阈值已经能获得可用结果。
三类常用方法
类别权重通过提高少数类错误的损失,让模型更重视少数类,通常是首选起点。过采样复制或合成少数类样本,适合训练数据较少的情况;欠采样减少多数类,训练更快,但可能丢失信息。阈值调整不改变模型训练,只改变最终标签转换,适合在验证集上满足业务约束。
重采样只能在训练折内部执行。若先对全量数据过采样再划分训练测试集,重复或合成样本可能同时进入训练集和测试集,造成严重数据泄漏。
使用类别权重
python
from sklearn.datasets import make_classification
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import classification_report
from sklearn.model_selection import train_test_split
X, y = make_classification(
n_samples=1000,
n_features=8,
weights=[0.95, 0.05],
random_state=42,
)
X_train, X_test, y_train, y_test = train_test_split(
X, y, test_size=0.3, stratify=y, random_state=42
)
# balanced 会按类别频率自动设置相反比例的权重
model = LogisticRegression(class_weight="balanced", max_iter=1000)
model.fit(X_train, y_train)
y_pred = model.predict(X_test)
print(classification_report(y_test, y_pred, digits=3))预期结果:
text
输出类别 0 和类别 1 的 precision、recall、f1-score 与样本数。
类别 1 的召回率通常高于未加权基线,但精确率可能下降。具体数值会受到 scikit-learn 版本影响,验证重点是少数类召回率是否改善,以及误报数量是否仍在可接受范围内。
建立可执行的选择顺序
推荐先建立不处理不平衡的基线,再尝试 class_weight,随后才考虑重采样和更复杂方法。每种方案都使用相同交叉验证划分,并用与业务一致的指标比较。若最终目标是人工审核,应同时计算每天预计进入审核队列的数量。
不要只追求少数类召回率。把所有样本都预测为正类可以得到 100% 召回率,却没有实际价值。最终方案应满足召回下限、精确率下限、误报量或成本上限等组合约束。
按自己的节奏,确认真正理解。