机器学习与深度学习 / 系统课时

数据类型与表示

数据类型与表示

上节得到房屋面积、卧室数、楼龄和区域。它们的类型决定用什么规则表示。相同的数值可以有不同含义,例如卧室数 2 可以参加数值比较,区号 2 往往只是名称。先确认字段的语义、单位和可用时间,再确定模型输入格式。

学习目标

  • 区分数值、无序类别、有序类别、文本和图像的常见表示。
  • 理解缩放、独热编码和未知类别怎样影响特征列。
  • 固定训练和推理使用的字段、词表、参数与缺失处理规则。

数值与类别数据

字段 类型与表示 注意点
面积、楼龄、卧室数 连续测量或离散计数,可保留原值或缩放 统一单位,区分缺失与真实的 0,先审查异常值
区域 无序类别,可独热编码成各区域指示列 区号整数之间的差值通常没有地理意义
房况等级 有序类别,例如待修、一般、良好 编码可以保留顺序;若模型直接使用 0、1、2 作数值,还会引入等步长的假设

对距离敏感的算法,量纲不同会改变数值较大特征的作用。常用缩放包括标准化 z=(x−μ)/σz=(x-μ)/σ 和区间缩放,它们具有不同含义。并非所有模型都依赖相同的缩放,例如许多按阈值切分的树模型通常无需标准化。若参数需从数据学习,先划分训练与评估数据,只用训练集拟合均值、尺度、填补规则与类别集合;再用同样的转换处理验证、测试和生产输入。 scikit-learn 预处理常见问题 StandardScaler 参数与边界

无序类别可用独热编码。训练中只有 A区、B区时,列固定为 district=A区、district=B区。遇到 C区可选择拦截、映射到预设的其他类,或使用全零表示未见类别。下面采用最后一种并保留所有已知类别列,因此全零有明确含义。若删掉一列作参考类,同样的全零还可能表示参考类,需要重新设计未知策略。缺失值另行处理,不能用新类别机制代替。 OneHotEncoder 未知类别及列丢弃行为

文本与图像数据

文本经过与模型匹配的分词器得到词元 ID。ID 是词表索引,编号差值通常不表示语义距离。批量长度不同时可按模型需要填充或截断,若接口使用注意力掩码,应按模型约定标识填充位置。截断可能删除影响任务的后半句,需记录最大长度、截断方向和验证结果。 Transformers 填充与截断

图像通常从像素组成数组。解码器可能输出灰度二维数组或带通道的三维数组,批量输入还会多一个样本轴。模型所需布局可能是 (N,C,H,W) 或 (N,H,W,C)。输入前确认 RGB 等颜色通道含义、数值范围与数据类型,再按模型约定调整尺寸和布局。训练时的随机裁剪属于数据增强;推理复用约定的确定性预处理,避免随机裁掉关键信息。 Transformers 图像处理器接口

NumPy 实例:四个原始字段变成五列

三条历史记录作为演示训练输入。每个数值列的均值与标准差分别在训练集上计算。常量列的尺度在示例中取 1,以避免除零。下例使用完整的数值输入,真实数据还需按预先约定的方式处理缺失和非法值。

python
import numpy as np


train_numbers = np.array([[92, 2, 8], [128, 3, 3], [75, 2, 15]], dtype=float)
train_regions = np.array(["A区", "B区", "A区"])
mean = train_numbers.mean(axis=0)
std = train_numbers.std(axis=0)
scale = np.where(std > 0, std, 1.0)
categories = np.unique(train_regions)


def encode(numbers, regions):
    numbers = np.asarray(numbers, dtype=float)
    regions = np.asarray(regions, dtype=object)
    if numbers.ndim != 2 or numbers.shape[1] != len(mean):
        raise ValueError("expected rows of area, bedrooms and age")
    if regions.shape != (len(numbers),):
        raise ValueError("expected one region for each row")
    if not np.isfinite(numbers).all() or any(not isinstance(value, str) or not value.strip() for value in regions):
        raise ValueError("expected finite numeric values and non-empty region names")
    scaled = (numbers - mean) / scale
    region_columns = (regions[:, None] == categories[None, :]).astype(float)
    return np.column_stack((scaled, region_columns))


X_train = encode(train_numbers, train_regions)
X_new = encode([[100, 2, 6]], ["C区"])
print("categories:", categories.tolist())
print("train and new:", X_train.shape, X_new.shape)
print("A区 and C区 codes:", X_train[0, -2:].tolist(), X_new[0, -2:].tolist())
text
categories: ['A区', 'B区']
train and new: (3, 5) (1, 5)
A区 and C区 codes: [1.0, 0.0] [0.0, 0.0]

三条训练样本和一条新样本的行数不同,列定义相同。把均值、尺度、类别顺序和输入字段的单位与类型随模型保存,评估未知区域出现的频率和影响。

本课练习

把新样本区域从 C区改成 B区并检查最后两列。再把所有训练行的卧室数设为相同,检查标准化没有除零且训练列变为全零。下一课用相同的五列顺序演示矩阵运算。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

数据类型与表示

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通