机器学习与深度学习 / 系统课时

归一化数值特征

归一化数值特征

数值特征的量纲差异会直接影响梯度更新。这里用 TensorFlow 把年龄、金额等不同尺度的特征统一到可训练范围,并重点处理最容易造成数据泄漏的问题:均值、方差、最小值和最大值只能从训练集拟合,再原样应用到验证集、测试集和线上数据。

学习目标

  • 区分 Z-score 标准化与 Min-Max 缩放的适用方式。
  • 使用 tf.keras.layers.Normalization 从训练数据拟合均值和方差。
  • 检查缩放后的数值范围,并避免验证集或测试集参与统计量计算。

先选缩放方式

Z-score 标准化把每个特征变换为 z=(x−μ)/σz=(x-\mu)/\sigma,通常适合没有固定上下界的连续特征。Min-Max 缩放使用 x′=(x−xmin)/(xmax−xmin)x'=(x-x_{min})/(x_{max}-x_{min}),训练区间内的数据会映射到 0~1,更适合明确希望控制输入范围的场景。

原始特征 示例范围 推荐起点 处理后的典型尺度
年龄 18~80 Z-score 均值约 0、标准差约 1
年收入 20000~500000 Z-score 均值约 0、标准差约 1
百分比 0~100 Min-Max 0~1
已在 0~1 内的概率 0~1 通常不再缩放 0~1

不要仅因为数值大就使用 Min-Max。例如收入存在少量极端值时,最大值会显著压缩其他样本;这类数据可以先检查异常值,再选择 Z-score、对数变换或截断策略。

只用训练集拟合统计量

预处理统计量属于模型训练结果的一部分。正确顺序是先划分数据,再用训练集计算均值、方差或边界;验证集和测试集只能读取这些已经冻结的参数。若先在全量数据上调用 adapt(),模型虽然没有直接看到测试标签,却已经利用了测试特征分布。

训练集拟合数值预处理统计量的数据流

真实项目中可以把 Normalization 层直接放进 Keras 模型,让导出的 SavedModel 保留同一套预处理。无论预处理写在模型内部还是输入流水线中,关键约束都一样:只对训练分片执行拟合。

用 TensorFlow 完成两种缩放

下面用 4 条训练样本拟合统计量,再处理两条未参与拟合的样本。Normalization.adapt() 会按特征维计算均值和方差;Min-Max 示例则显式保存训练集的最小值与最大值。

python
import numpy as np
import tensorflow as tf

np.set_printoptions(precision=3, suppress=True)

x_train = np.array([
    [20.0, 2000.0],
    [30.0, 3000.0],
    [40.0, 4000.0],
    [50.0, 5000.0],
], dtype=np.float32)

x_eval = np.array([
    [25.0, 2500.0],
    [45.0, 4500.0],
], dtype=np.float32)

# 只从训练集学习统计量。
standardizer = tf.keras.layers.Normalization(axis=-1)
standardizer.adapt(x_train)

print('mean:', standardizer.mean.numpy().reshape(-1))
print('z-score:')
print(standardizer(x_eval).numpy())

# Min-Max 的上下界同样只能来自训练集。
feature_min = tf.constant(x_train.min(axis=0), dtype=tf.float32)
feature_max = tf.constant(x_train.max(axis=0), dtype=tf.float32)
scaled = (tf.constant(x_eval) - feature_min) / (feature_max - feature_min)

print('min-max:')
print(scaled.numpy())

预期输出

text
mean: [  35. 3500.]
z-score:
[[-0.894 -0.894]
 [ 0.894  0.894]]
min-max:
[[0.167 0.167]
 [0.833 0.833]]

两个原始特征相差约 100 倍,但标准化后进入相近数量级。Min-Max 的结果也保持了样本在训练区间中的相对位置,例如年龄 25 对应 (25−20)/(50−20)=0.167(25-20)/(50-20)=0.167。

检查边界和异常值

Min-Max 并不保证未来样本永远落在 0~1。若训练集年龄最大值为 50,而线上出现 60,则结果是 (60−20)/(50−20)=1.333(60-20)/(50-20)=1.333。只有业务明确要求硬限制时,才额外使用 tf.clip_by_value(value, 0.0, 1.0);否则保留超界值更容易暴露数据分布漂移。

还要处理常量特征。如果某列训练数据的最大值等于最小值,Min-Max 分母就是 0,应删除这类无信息特征,或在实现中对分母设置保护值。验证时至少记录每列训练均值、标准差、最小值和最大值,并抽查验证集变换结果是否出现 NaN、Inf 或异常大的绝对值。

模型上线后应继续复用训练阶段冻结的统计量,而不是按单个请求重新计算均值和方差。重新训练时可以重新拟合预处理参数;单纯推理时则必须保持参数不变,否则同一个原始数值会随请求批次变化而得到不同输入。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

归一化数值特征

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通