机器学习与深度学习 / 系统课时
标准化数值特征
标准化数值特征
年龄通常按几十计,收入可能按几千或几万计。若直接用于距离计算或带正则化的模型,大数值列可能造成尺度偏置。本课使用 StandardScaler 按训练集统计量标准化数值特征,并验证训练集和测试集的转换结果。
学习目标
- 理解标准化的计算方式及转换后的数据尺度
- 识别需要标准化的模型及不适用的场景
- 使用训练集拟合缩放参数,并正确转换测试集
哪些模型更依赖标准化
标准化通常采用 Z-score 方法,对每列数值分别执行以下计算:
其中, 是原始特征值, 是训练集该列的均值, 是训练集该列的标准差。每列独立计算,不同单位的特征因此可以转换到可比较的数值尺度。
对于非恒定列,标准化会让训练集每列均值接近 0、标准差接近 1,但不会把数据限制在固定区间。例如,标准化后的值可以是 2.5,也可以是 -3.0,它们分别表示高于或低于均值若干个标准差。
K 近邻、使用 RBF 核的支持向量机等模型依赖样本间的距离,因此对特征尺度比较敏感。带正则化的线性模型也通常需要标准化,使不同特征受到更可比较的正则化约束。
决策树主要依据特征阈值划分样本,通常不需要标准化。标准化也不会自动消除离群点,或者保证每个特征具有相同的预测价值。
完整示例
将下面代码保存为 standard_scaler_demo.py。训练数据包含年龄和收入两列,测试样本为年龄 50、收入 12000。示例只在训练集上拟合缩放参数,再用同一组参数转换测试样本。
运行前需要安装 numpy 和 scikit-learn。
import numpy as np
from sklearn.preprocessing import StandardScaler
x_train = np.array([
[20.0, 3000.0],
[30.0, 6000.0],
[40.0, 9000.0],
])
x_test = np.array([[50.0, 12000.0]])
# 只用训练集估计各列均值和标准差
scaler = StandardScaler()
scaled = scaler.fit_transform(x_train)
# 测试集复用已拟合参数,不能重新执行 fit
scaled_test = scaler.transform(x_test)
# 用列均值和列标准差验证训练集缩放结果
print("列均值:", np.round(scaled.mean(axis=0), 6))
print("列标准差:", np.round(scaled.std(axis=0), 6))
print("测试样本:", np.round(scaled_test, 3))运行命令:
python standard_scaler_demo.py预期输出:
列均值: [0. 0.]
列标准差: [1. 1.]
测试样本: [[2.449 2.449]]训练集年龄列均值为 30,标准差约为 8.165;收入列均值为 6000,标准差约为 2449.490。因此,测试样本的年龄和收入分别高于训练均值约 2.449 个标准差,转换后得到相同的数值。
这里的标准差采用 StandardScaler 默认的总体标准差计算方式。两列训练数据的标准差都接近 1,说明训练集转换符合预期。测试样本出现大于 1 的结果属于正常现象。
训练与预测必须共用参数
标准化的正确顺序是先划分训练集和测试集,再根据训练集计算转换参数。fit 负责学习参数,transform 负责应用参数,而 fit_transform 相当于依次完成这两个操作。
scaler.mean_ 保存训练集各列均值,scaler.scale_ 保存对应的缩放因子。验证集、测试集以及上线后的新样本都必须沿用这些参数,并保持特征列的含义与顺序一致。
如果对测试集再次调用 fit_transform,就会按测试集自己的均值和标准差重新缩放。这样不仅造成训练与预测使用不同的特征尺度,还可能在评估阶段引入数据泄漏。
进行交叉验证时,每一折也只能使用该折的训练部分拟合缩放器。实际项目推荐将 StandardScaler 和模型放入 Pipeline,使每一折的参数拟合与模型训练保持一致。
异常值与特殊特征的处理
如果训练集中某列所有值都相同,例如年龄列全部为 30,该列标准差为 0。StandardScaler 会使用缩放因子 1 避免除零,并将训练集这一列全部转换为 0。这种恒定列不能区分训练样本,可考虑在特征筛选时删除。
如果数据存在明显极端值,例如大部分收入在 3000~9000,却出现一条收入为 1000000 的记录,均值与标准差可能受到很大影响。应先核查数据来源和单位,确认并非录入错误后,再考虑使用基于中位数和四分位距的 RobustScaler。
还要避免把目标标签与输入特征放在同一个缩放器中。对于类别编码列,应结合模型要求判断是否需要缩放,而不是把所有数字字段一律交给 StandardScaler。
完成转换后,至少检查训练集的列均值与标准差、测试样本的转换结果,以及训练和预测阶段的特征顺序。只要缩放器仅在训练数据上拟合,且后续数据始终复用同一参数,就完成了标准化所需的基本验证。