机器学习与深度学习 / 系统课时
归一化数值特征
归一化数值特征
本课解决模型或输入接口要求固定数值范围的问题。完成后,你能够把训练特征缩放到指定区间,并正确解释超界结果,避免测试集信息泄漏。
学习目标
- 理解最小最大归一化的计算方法与特点
- 区分归一化与标准化的适用场景
- 识别测试值超出训练范围的情况,正确处理缩放参数
归一化的特点
最小最大归一化(Min-Max Scaling)通常把训练数据映射到 [0, 1]。它根据训练集每个特征的最小值和最大值,进行线性缩放。对于单个特征,计算公式为:
其中, 是原始值, 和 分别是训练集该特征的最小值和最大值, 是缩放后的结果。
例如,训练集的年龄为 10、20、30,最小值为 10,最大值为 30。归一化后依次得到 0、0.5、1。原始值 20 位于区间中点,缩放结果也位于新区间中点。
归一化保留数据的大小顺序和线性比例关系,但对训练集最小值和最大值敏感。假设大多数样本处于 10~30,只有一个异常值为 1000,那么正常样本可能被压缩到接近 0 的狭窄范围,影响模型区分样本的能力。
对于包含年龄、收入等多列的数据,MinMaxScaler 会逐列计算缩放参数,不会把所有列混在一起求最小值和最大值。
完整示例
将代码保存为 minmax_demo.py。运行环境需要已安装 numpy 和 scikit-learn。
import numpy as np
from sklearn.preprocessing import MinMaxScaler
x_train = np.array([[10.0], [20.0], [30.0]])
x_test = np.array([[40.0]])
scaler = MinMaxScaler()
train_scaled = scaler.fit_transform(x_train)
# 测试值高于训练最大值,因此转换结果可以大于 1
test_scaled = scaler.transform(x_test)
print("训练集:", train_scaled.ravel())
print("测试集:", test_scaled.ravel())运行命令:
python minmax_demo.py预期输出:
训练集: [0. 0.5 1. ]
测试集: [1.5]训练集最小值为 10,最大值为 30,因此测试值 40 的归一化结果为:
测试结果超出 [0, 1] 并不一定是错误,而是说明测试值超过了训练数据的最大值。默认情况下,MinMaxScaler 不会自动把超界结果截断到 1。
这里还需要区分两个操作:fit_transform() 先根据训练集学习最小值、最大值,再执行转换;transform() 直接使用已经学习的参数转换新数据。
与标准化的区别
归一化适合输入范围有明确要求的场景;标准化则根据训练集均值和标准差调整数值尺度。常见的 StandardScaler 会把训练特征转换为均值接近 0、标准差接近 1 的分布,但不保证结果落入固定区间。
| 对比项 | 最小最大归一化 | Z-score 标准化 |
|---|---|---|
| 主要参数 | 最小值、最大值 | 均值、标准差 |
| 训练集结果 | 通常映射到 [0, 1] |
均值约为 0,标准差约为 1 |
| 异常值影响 | 极值可能压缩其他样本的范围 | 异常值会影响均值和标准差 |
| 常见用途 | 需要限定输入尺度的模型或接口 | 线性模型、K 近邻、支持向量机等 |
K 近邻和支持向量机也可以使用归一化;具体选哪一种,应通过验证集上的模型表现判断,而不是只根据算法名称决定。两种方法都必须只用训练集拟合参数。
超界值与特殊情况
MinMaxScaler 默认使用 feature_range=(0, 1) 和 clip=False,因此训练范围之外的测试值可以产生小于 0 或大于 1 的结果。
如果下游接口严格要求输入位于 [0, 1],可以将 clip=True 作为一种处理方式。但裁剪会丢失超界幅度信息,例如归一化结果 1.5 和 3 都会变成 1,不能用它代替异常值检查。
另一个边界是常量特征:如果训练集中某列全部为 10,理论公式的分母为 0。MinMaxScaler 内部会进行零跨度保护,在默认范围设置下把训练集该列映射为 0,不会直接发生除零错误。不过,这种列通常无法帮助模型区分训练样本,可以考虑删除。
验证时应检查训练集是否按预期缩放、测试集是否复用了训练参数,以及测试数据超界的比例。如果测试值频繁超出训练范围,应排查异常值和数据漂移;确需更新缩放参数时,应结合新的训练数据重新拟合缩放器及模型,而不是单独针对测试集修改参数。