机器学习与深度学习 / 系统课时

处理类别不平衡

处理类别不平衡

当正负样本比例达到 95:5 甚至更极端时,单看 accuracy 很容易误判模型效果。本篇用同一组二分类数据演示类别权重、训练集重采样和决策阈值三种处理方式,并用 Precision、Recall 与 PR 取舍判断是否真的改善了少数类别识别。

学习目标

  • 根据训练集类别数量计算并应用 class_weight
  • 使用重采样构造接近 1:1 的训练批次,同时避免污染验证集
  • 在验证集上调整分类阈值,并理解 Precision 与 Recall 的变化方向

先确认不平衡到底影响了什么

假设训练集有 4000 条样本,其中类别 0 有 3800 条,类别 1 只有 200 条,比例为 95:5。一个始终预测类别 0 的模型也能得到 95% accuracy,但类别 1 的 Recall 会是 0,因此不能把 accuracy 当作主要验收指标。

实际项目至少同时观察 Precision、Recall 和 PR-AUC。若业务更怕漏掉少数类,例如欺诈检测或故障预警,应优先约束 Recall;若一次误报代价很高,则需要同时控制 Precision。

指标 关注的问题 不平衡任务中的用途
Precision 判为正类的样本有多少是真的 控制误报
Recall 实际正类有多少被找出来 控制漏报
PR-AUC 不同阈值下 Precision-Recall 综合表现 比 accuracy 更适合稀有正类

类别权重让少数类错误更贵

Keras 的 model.fit() 可以直接接收 class_weight。常用平衡权重按总样本数除以“类别数 × 当前类别样本数”计算。本例得到类别 0 权重约 0.5263,类别 1 权重为 10.0,也就是漏判一个正类会对损失产生明显更大的影响。

下面的脚本同时训练一个加权模型、扫描三个决策阈值,并构造一个 1:1 重采样批次。示例适用于 TensorFlow 2.x。

python
import numpy as np
import tensorflow as tf

tf.keras.utils.set_random_seed(42)
rng = np.random.default_rng(42)

def make_split(n0, n1):
    x0 = rng.normal(0.0, 1.0, size=(n0, 2)).astype('float32')
    x1 = rng.normal(1.5, 1.0, size=(n1, 2)).astype('float32')
    x = np.concatenate([x0, x1])
    y = np.concatenate([
        np.zeros(n0, dtype='float32'),
        np.ones(n1, dtype='float32')
    ])
    order = rng.permutation(len(y))
    return x[order], y[order]

x_train, y_train = make_split(3800, 200)
x_val, y_val = make_split(950, 50)

n0 = int(np.sum(y_train == 0))
n1 = int(np.sum(y_train == 1))
class_weight = {
    0: len(y_train) / (2 * n0),
    1: len(y_train) / (2 * n1),
}
print({k: round(v, 4) for k, v in class_weight.items()})

model = tf.keras.Sequential([
    tf.keras.layers.Input(shape=(2,)),
    tf.keras.layers.Dense(8, activation='relu'),
    tf.keras.layers.Dense(1, activation='sigmoid'),
])
model.compile(
    optimizer='adam',
    loss='binary_crossentropy',
    metrics=[
        tf.keras.metrics.Precision(name='precision'),
        tf.keras.metrics.Recall(name='recall'),
        tf.keras.metrics.AUC(curve='PR', name='pr_auc'),
    ],
)
model.fit(
    x_train,
    y_train,
    epochs=5,
    batch_size=128,
    verbose=0,
    class_weight=class_weight,
)

probs = model.predict(x_val, verbose=0).ravel()
for threshold in (0.3, 0.5, 0.7):
    pred = probs >= threshold
    tp = np.sum((pred == 1) & (y_val == 1))
    fp = np.sum((pred == 1) & (y_val == 0))
    fn = np.sum((pred == 0) & (y_val == 1))
    precision = tp / max(tp + fp, 1)
    recall = tp / max(tp + fn, 1)
    print(
        f'threshold={threshold:.1f} '
        f'precision={precision:.3f} recall={recall:.3f}'
    )

neg_ds = tf.data.Dataset.from_tensor_slices(
    (x_train[y_train == 0], y_train[y_train == 0])
).shuffle(1000, seed=42).repeat()
pos_ds = tf.data.Dataset.from_tensor_slices(
    (x_train[y_train == 1], y_train[y_train == 1])
).shuffle(200, seed=42).repeat()

balanced_ds = tf.data.Dataset.sample_from_datasets(
    [neg_ds, pos_ds],
    weights=[0.5, 0.5],
    seed=42,
).batch(128)

_, y_batch = next(iter(balanced_ds))
print(
    'balanced batch positive fraction='
    f'{float(tf.reduce_mean(y_batch)):.3f}'
)

预期输出如下。训练指标和采样批次中的实际正类比例受 TensorFlow 版本、硬件与随机采样影响,因此以 <VALUE> 表示动态值。

text
{0: 0.5263, 1: 10.0}
threshold=0.3 precision=<VALUE> recall=<VALUE>
threshold=0.5 precision=<VALUE> recall=<VALUE>
threshold=0.7 precision=<VALUE> recall=<VALUE>
balanced batch positive fraction=<VALUE>

通常降低阈值会提高 Recall、降低 Precision;提高阈值则相反。阈值必须在验证集上选择,测试集只用于最终一次评估,不能反复用测试结果调阈值。

重采样改变训练时看到的类别比例

上面的 balanced_ds 从正、负两个无限数据流中分别以 0.5 概率取样,因此一个足够大的 batch 会接近 1:1。若用它训练,可设置 steps_per_epoch=31,因为原训练集 4000 条、batch size 为 128,4000/128 约等于 31。

不要先把全量数据重采样再切验证集。正确顺序是先划分 Train、Validation、Test,只对 Train 做过采样或欠采样;否则同一条少数类记录可能同时进入训练和验证,造成数据泄漏。

三种方法解决的是不同位置的问题

类别权重作用在损失函数,重采样作用在训练数据分布,阈值调整发生在模型输出概率之后。它们不是互相替代的同一个开关,而是训练链路中的三个不同控制点。

类别不平衡处理中权重、重采样与阈值调整的作用位置

如果少数类只是数量少但数据质量正常,先从 class_weight 开始成本最低;如果训练批次经常完全没有正类,可改用重采样;模型排序能力已经不错但业务漏报或误报比例不合适时,再在验证集上调阈值。最终应以未参与调参的测试集报告 Precision、Recall 和 PR-AUC。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

处理类别不平衡

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通