机器学习与深度学习 / 系统课时

归一化数值特征

归一化数值特征

本课解决模型或输入接口要求固定数值范围的问题。完成后,你能够把训练特征缩放到指定区间,并正确解释超界结果,避免测试集信息泄漏。

学习目标

  • 理解最小最大归一化的计算方法与特点
  • 区分归一化与标准化的适用场景
  • 识别测试值超出训练范围的情况,正确处理缩放参数

归一化的特点

最小最大归一化(Min-Max Scaling)通常把训练数据映射到 [0, 1]。它根据训练集每个特征的最小值和最大值,进行线性缩放。对于单个特征,计算公式为:

x′=x−xmin⁡xmax⁡−xmin⁡x'=\frac{x-x_{\min}}{x_{\max}-x_{\min}}

其中,xx 是原始值,xmin⁡x_{\min} 和 xmax⁡x_{\max} 分别是训练集该特征的最小值和最大值,x′x' 是缩放后的结果。

例如,训练集的年龄为 10、20、30,最小值为 10,最大值为 30。归一化后依次得到 0、0.5、1。原始值 20 位于区间中点,缩放结果也位于新区间中点。

归一化保留数据的大小顺序和线性比例关系,但对训练集最小值和最大值敏感。假设大多数样本处于 10~30,只有一个异常值为 1000,那么正常样本可能被压缩到接近 0 的狭窄范围,影响模型区分样本的能力。

对于包含年龄、收入等多列的数据,MinMaxScaler 会逐列计算缩放参数,不会把所有列混在一起求最小值和最大值。

完整示例

将代码保存为 minmax_demo.py。运行环境需要已安装 numpy 和 scikit-learn。

python
import numpy as np
from sklearn.preprocessing import MinMaxScaler

x_train = np.array([[10.0], [20.0], [30.0]])
x_test = np.array([[40.0]])

scaler = MinMaxScaler()
train_scaled = scaler.fit_transform(x_train)

# 测试值高于训练最大值,因此转换结果可以大于 1
test_scaled = scaler.transform(x_test)

print("训练集:", train_scaled.ravel())
print("测试集:", test_scaled.ravel())

运行命令:

bash
python minmax_demo.py

预期输出:

text
训练集: [0.  0.5 1. ]
测试集: [1.5]

训练集最小值为 10,最大值为 30,因此测试值 40 的归一化结果为:

40−1030−10=1.5\frac{40-10}{30-10}=1.5

测试结果超出 [0, 1] 并不一定是错误,而是说明测试值超过了训练数据的最大值。默认情况下,MinMaxScaler 不会自动把超界结果截断到 1。

这里还需要区分两个操作:fit_transform() 先根据训练集学习最小值、最大值,再执行转换;transform() 直接使用已经学习的参数转换新数据。

与标准化的区别

归一化适合输入范围有明确要求的场景;标准化则根据训练集均值和标准差调整数值尺度。常见的 StandardScaler 会把训练特征转换为均值接近 0、标准差接近 1 的分布,但不保证结果落入固定区间。

对比项 最小最大归一化 Z-score 标准化
主要参数 最小值、最大值 均值、标准差
训练集结果 通常映射到 [0, 1] 均值约为 0,标准差约为 1
异常值影响 极值可能压缩其他样本的范围 异常值会影响均值和标准差
常见用途 需要限定输入尺度的模型或接口 线性模型、K 近邻、支持向量机等

K 近邻和支持向量机也可以使用归一化;具体选哪一种,应通过验证集上的模型表现判断,而不是只根据算法名称决定。两种方法都必须只用训练集拟合参数。

超界值与特殊情况

MinMaxScaler 默认使用 feature_range=(0, 1) 和 clip=False,因此训练范围之外的测试值可以产生小于 0 或大于 1 的结果。

如果下游接口严格要求输入位于 [0, 1],可以将 clip=True 作为一种处理方式。但裁剪会丢失超界幅度信息,例如归一化结果 1.5 和 3 都会变成 1,不能用它代替异常值检查。

另一个边界是常量特征:如果训练集中某列全部为 10,理论公式的分母为 0。MinMaxScaler 内部会进行零跨度保护,在默认范围设置下把训练集该列映射为 0,不会直接发生除零错误。不过,这种列通常无法帮助模型区分训练样本,可以考虑删除。

验证时应检查训练集是否按预期缩放、测试集是否复用了训练参数,以及测试数据超界的比例。如果测试值频繁超出训练范围,应排查异常值和数据漂移;确需更新缩放参数时,应结合新的训练数据重新拟合缩放器及模型,而不是单独针对测试集修改参数。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

归一化数值特征

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通