机器学习与深度学习 / 系统课时
分析类别分布
分析类别分布
学习目标
完成本课后,你将能够:
- 统计类别频数、比例和缺失类别
- 识别类别不平衡与异常取值
- 说明类别不平衡对模型评估的影响
类别分析的目标
类别字段通常代表渠道、地区、状态、产品类型或目标标签。分析时不仅要看有哪些类别,还要检查每类数量、占比、缺失值、拼写差异和低频类别。
统计频数和比例
python
import pandas as pd
data = pd.DataFrame({
"channel": ["app", "web", "app", "APP", "web", None, "miniapp"],
"label": [1, 0, 0, 1, 0, 0, 0],
})
print("渠道频数:")
print(data["channel"].value_counts(dropna=False))
print("\n标签比例:")
print(data["label"].value_counts(normalize=True).sort_index().round(3))预期输出:
text
渠道频数:
channel
app 2
web 2
APP 1
NaN 1
miniapp 1
Name: count, dtype: int64
标签比例:
label
0 0.714
1 0.286
Name: proportion, dtype: float64app 和 APP 被统计为不同类别,需要根据业务规则统一大小写。
清理类别值
python
import pandas as pd
channel = pd.Series([" app ", "WEB", "App", None, "miniapp"])
cleaned = channel.astype("string").str.strip().str.lower()
print(cleaned)预期输出:
text
0 app
1 web
2 app
3 <NA>
4 miniapp
dtype: string清理前应保留原始字段或记录映射,避免不可逆修改导致审计困难。
识别类别不平衡
如果目标类别比例为 99:1,始终预测多数类也能达到 99% 准确率,但模型没有识别少数类的能力。
不平衡任务应重点关注混淆矩阵、精确率、召回率、F1 和 PR-AUC,并根据业务成本设置阈值。不能只通过过采样或欠采样机械处理,还要检查少数类标签是否可靠。
低频类别处理原则
低频类别可能是数据错误,也可能代表重要的小众业务。处理前应判断:
- 是否为拼写或编码不一致。
- 是否能合并为“其他”而不损失关键含义。
- 是否会在生产环境持续出现。
- 是否需要单独采集更多样本。
本课练习
- 统计一个状态字段的频数、比例和缺失值。
- 清理
Paid、paid、PAID等同义类别。 - 对一个 95:5 的二分类目标说明为什么准确率不足以评价模型。
按自己的节奏,确认真正理解。