机器学习与深度学习 / 系统课时
编码类别特征
编码类别特征
模型无法直接读取“上海”“北京”等文本类别,随意替换成整数又可能引入不存在的大小关系。本课用一组数据完成独热编码、顺序编码和未知类别验证,帮助你根据特征含义选择编码方式,并确保训练与预测阶段使用相同的编码规则。
学习目标
- 区分无序类别与有序类别,选择合适的编码方式
- 使用
OneHotEncoder和OrdinalEncoder转换类别特征 - 处理预测阶段出现的新类别,避免编码不一致
编码方式的选择
城市、支付方式等无序类别通常使用独热编码;风险等级“低、中、高”可以使用顺序编码。不要把无序类别简单编码为 0、1、2,否则模型可能误以为它们存在大小或距离关系。
独热编码为每个已知类别建立一列。例如训练数据包含“上海、北京、广州”三个城市,按这个列顺序,“上海”编码为 [1, 0, 0],“北京”编码为 [0, 1, 0]。每条记录只有对应类别的列为 1,其余列为 0。
顺序编码适合业务上确实存在等级关系的字段。例如将“低、中、高”依次编码为 0、1、2。编码时必须明确指定顺序,不能直接依赖字符串排序。
完整示例
下面同时演示独热编码和顺序编码,并验证预测时出现未知类别的结果。将代码保存为 category_encoding_demo.py。运行环境需要已安装 NumPy 和 scikit-learn 1.2 或更新版本。
import numpy as np
from sklearn.preprocessing import OneHotEncoder, OrdinalEncoder
cities = np.array([["上海"], ["北京"], ["广州"], ["上海"]], dtype=object)
# ignore 可避免预测时遇到新城市直接报错
one_hot = OneHotEncoder(handle_unknown="ignore", sparse_output=False)
city_values = one_hot.fit_transform(cities)
risk = np.array([["低"], ["中"], ["高"], ["中"]], dtype=object)
# 明确等级顺序,并用 -1 标记训练时未见过的风险类别
ordinal = OrdinalEncoder(
categories=[["低", "中", "高"]],
handle_unknown="use_encoded_value",
unknown_value=-1,
)
risk_values = ordinal.fit_transform(risk)
print("城市类别:", one_hot.categories_[0].tolist())
print(city_values.astype(int))
print("风险编码:", risk_values.ravel().astype(int).tolist())
# 新样本只能使用已拟合的编码规则进行转换
new_city = np.array([["深圳"]], dtype=object)
new_risk = np.array([["未知"]], dtype=object)
print("新城市编码:", one_hot.transform(new_city).astype(int).tolist())
print("新风险编码:", ordinal.transform(new_risk).ravel().astype(int).tolist())运行命令:
python category_encoding_demo.py预期输出:
城市类别: ['上海', '北京', '广州']
[[1 0 0]
[0 1 0]
[0 0 1]
[1 0 0]]
风险编码: [0, 1, 2, 1]
新城市编码: [[0, 0, 0]]
新风险编码: [-1]检查结果时,注意以下对应关系:
one_hot.categories_给出了实际的城市列顺序。编码器按类别排序确定列位置,不应假设它与训练数据首次出现的顺序相同。- 四条城市记录转换成四行三列的矩阵,两条“上海”记录得到相同编码。
- 风险等级按照显式指定的顺序映射为
0、1、2,两条“中”记录都编码为1。 - 未知城市和未知风险都能够完成转换,且没有改变训练阶段确定的特征列数。
示例中的 sparse_output=False 用于方便打印和观察矩阵。实际处理大量类别时,独热编码通常应保留默认的稀疏矩阵输出,以减少内存占用。
预测阶段出现新类别
训练阶段出现的类别不一定覆盖预测阶段的全部输入。遇到新类别时,不能重新拟合编码器,否则特征列的位置、数量或等级映射可能改变,使训练好的模型接收到含义不同的数据。
示例中,OneHotEncoder(handle_unknown="ignore") 将训练时未出现的“深圳”转换为 [0, 0, 0]。这不是为“深圳”创建新列,而是在原有三列中全部填 0。模型仍可以接收固定维度的输入,但无法通过这三列区分不同的未知城市。
OrdinalEncoder 默认遇到未知类别会报错。设置 handle_unknown="use_encoded_value" 和 unknown_value=-1 后,可以将未知风险编码为 -1。但这个值表示未知,不代表风险低于“低”。如果模型会把 -1 当作实际等级参与计算,就需要增加独立的未知类别处理策略,或在预测前拒绝不合法的风险值。
训练完成后应保存编码器及其类别映射,并在预测服务中复用。对于必须保持固定类别集合的字段,可以在编码前增加输入校验,避免未知值被悄悄解释成正常业务等级。
高基数与训练边界
用户 ID、商品 ID 等高基数字段不适合直接独热编码,否则会产生大量稀疏列。例如一个字段有 10000 个不同取值,普通独热编码就可能为它创建 10000 列。应考虑删除纯标识字段、合并低频类别或提取更稳定的业务属性。
类别编码还必须遵守训练集与验证集的隔离规则。正确的处理顺序是:
- 先划分训练集、验证集和测试集。
- 仅使用训练集调用编码器的
fit或fit_transform,确定类别集合及映射关系。 - 使用同一个编码器对验证集、测试集调用
transform。 - 部署时复用训练阶段保存的编码器,检查转换后的特征数量与模型输入要求一致。
如果先对全部数据拟合编码器,再划分训练集与测试集,就可能让测试集的类别信息提前参与特征处理,影响评估的独立性。
对于新的业务类别,应先判断它是偶发未知值,还是需要纳入训练的新类别。如果需要新增类别列或修改等级含义,应重新拟合预处理器,并同步重新训练或适配下游模型,不能只修改预测阶段的编码规则。