机器学习与深度学习 / 系统课时

标准化数值特征

标准化数值特征

年龄通常按几十计,收入可能按几千或几万计。若直接用于距离计算或带正则化的模型,大数值列可能造成尺度偏置。本课使用 StandardScaler 按训练集统计量标准化数值特征,并验证训练集和测试集的转换结果。

学习目标

  • 理解标准化的计算方式及转换后的数据尺度
  • 识别需要标准化的模型及不适用的场景
  • 使用训练集拟合缩放参数,并正确转换测试集

哪些模型更依赖标准化

标准化通常采用 Z-score 方法,对每列数值分别执行以下计算:

z=x−μσz = \frac{x - \mu}{\sigma}

其中,xx 是原始特征值,μ\mu 是训练集该列的均值,σ\sigma 是训练集该列的标准差。每列独立计算,不同单位的特征因此可以转换到可比较的数值尺度。

对于非恒定列,标准化会让训练集每列均值接近 0、标准差接近 1,但不会把数据限制在固定区间。例如,标准化后的值可以是 2.5,也可以是 -3.0,它们分别表示高于或低于均值若干个标准差。

K 近邻、使用 RBF 核的支持向量机等模型依赖样本间的距离,因此对特征尺度比较敏感。带正则化的线性模型也通常需要标准化,使不同特征受到更可比较的正则化约束。

决策树主要依据特征阈值划分样本,通常不需要标准化。标准化也不会自动消除离群点,或者保证每个特征具有相同的预测价值。

完整示例

将下面代码保存为 standard_scaler_demo.py。训练数据包含年龄和收入两列,测试样本为年龄 50、收入 12000。示例只在训练集上拟合缩放参数,再用同一组参数转换测试样本。

运行前需要安装 numpy 和 scikit-learn。

python
import numpy as np
from sklearn.preprocessing import StandardScaler

x_train = np.array([
    [20.0, 3000.0],
    [30.0, 6000.0],
    [40.0, 9000.0],
])
x_test = np.array([[50.0, 12000.0]])

# 只用训练集估计各列均值和标准差
scaler = StandardScaler()
scaled = scaler.fit_transform(x_train)

# 测试集复用已拟合参数,不能重新执行 fit
scaled_test = scaler.transform(x_test)

# 用列均值和列标准差验证训练集缩放结果
print("列均值:", np.round(scaled.mean(axis=0), 6))
print("列标准差:", np.round(scaled.std(axis=0), 6))
print("测试样本:", np.round(scaled_test, 3))

运行命令:

bash
python standard_scaler_demo.py

预期输出:

text
列均值: [0. 0.]
列标准差: [1. 1.]
测试样本: [[2.449 2.449]]

训练集年龄列均值为 30,标准差约为 8.165;收入列均值为 6000,标准差约为 2449.490。因此,测试样本的年龄和收入分别高于训练均值约 2.449 个标准差,转换后得到相同的数值。

这里的标准差采用 StandardScaler 默认的总体标准差计算方式。两列训练数据的标准差都接近 1,说明训练集转换符合预期。测试样本出现大于 1 的结果属于正常现象。

训练与预测必须共用参数

标准化的正确顺序是先划分训练集和测试集,再根据训练集计算转换参数。fit 负责学习参数,transform 负责应用参数,而 fit_transform 相当于依次完成这两个操作。

scaler.mean_ 保存训练集各列均值,scaler.scale_ 保存对应的缩放因子。验证集、测试集以及上线后的新样本都必须沿用这些参数,并保持特征列的含义与顺序一致。

如果对测试集再次调用 fit_transform,就会按测试集自己的均值和标准差重新缩放。这样不仅造成训练与预测使用不同的特征尺度,还可能在评估阶段引入数据泄漏。

进行交叉验证时,每一折也只能使用该折的训练部分拟合缩放器。实际项目推荐将 StandardScaler 和模型放入 Pipeline,使每一折的参数拟合与模型训练保持一致。

异常值与特殊特征的处理

如果训练集中某列所有值都相同,例如年龄列全部为 30,该列标准差为 0。StandardScaler 会使用缩放因子 1 避免除零,并将训练集这一列全部转换为 0。这种恒定列不能区分训练样本,可考虑在特征筛选时删除。

如果数据存在明显极端值,例如大部分收入在 3000~9000,却出现一条收入为 1000000 的记录,均值与标准差可能受到很大影响。应先核查数据来源和单位,确认并非录入错误后,再考虑使用基于中位数和四分位距的 RobustScaler。

还要避免把目标标签与输入特征放在同一个缩放器中。对于类别编码列,应结合模型要求判断是否需要缩放,而不是把所有数字字段一律交给 StandardScaler。

完成转换后,至少检查训练集的列均值与标准差、测试样本的转换结果,以及训练和预测阶段的特征顺序。只要缩放器仅在训练数据上拟合,且后续数据始终复用同一参数,就完成了标准化所需的基本验证。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

标准化数值特征

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通