机器学习与深度学习 / 系统课时

分析类别分布

分析类别分布

学习目标

完成本课后,你将能够:

  • 统计类别频数、比例和缺失类别
  • 识别类别不平衡与异常取值
  • 说明类别不平衡对模型评估的影响

类别分析的目标

类别字段通常代表渠道、地区、状态、产品类型或目标标签。分析时不仅要看有哪些类别,还要检查每类数量、占比、缺失值、拼写差异和低频类别。

统计频数和比例

python
import pandas as pd

data = pd.DataFrame({
    "channel": ["app", "web", "app", "APP", "web", None, "miniapp"],
    "label": [1, 0, 0, 1, 0, 0, 0],
})

print("渠道频数:")
print(data["channel"].value_counts(dropna=False))

print("\n标签比例:")
print(data["label"].value_counts(normalize=True).sort_index().round(3))

预期输出:

text
渠道频数:
channel
app        2
web        2
APP        1
NaN        1
miniapp    1
Name: count, dtype: int64

标签比例:
label
0    0.714
1    0.286
Name: proportion, dtype: float64

app 和 APP 被统计为不同类别,需要根据业务规则统一大小写。

清理类别值

python
import pandas as pd

channel = pd.Series([" app ", "WEB", "App", None, "miniapp"])

cleaned = channel.astype("string").str.strip().str.lower()
print(cleaned)

预期输出:

text
0        app
1        web
2        app
3       <NA>
4    miniapp
dtype: string

清理前应保留原始字段或记录映射,避免不可逆修改导致审计困难。

识别类别不平衡

如果目标类别比例为 99:1,始终预测多数类也能达到 99% 准确率,但模型没有识别少数类的能力。

不平衡任务应重点关注混淆矩阵、精确率、召回率、F1 和 PR-AUC,并根据业务成本设置阈值。不能只通过过采样或欠采样机械处理,还要检查少数类标签是否可靠。

低频类别处理原则

低频类别可能是数据错误,也可能代表重要的小众业务。处理前应判断:

  1. 是否为拼写或编码不一致。
  2. 是否能合并为“其他”而不损失关键含义。
  3. 是否会在生产环境持续出现。
  4. 是否需要单独采集更多样本。

本课练习

  1. 统计一个状态字段的频数、比例和缺失值。
  2. 清理 Paid、paid 、PAID 等同义类别。
  3. 对一个 95:5 的二分类目标说明为什么准确率不足以评价模型。
按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

分析类别分布

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通