机器学习与深度学习 / 系统课时

构建数据处理流水线

构建数据处理流水线

学习目标

  • 建立训练数据质量检查
  • 统一数值与类别特征预处理
  • 避免划分和预处理阶段的数据泄漏

从数据契约开始

数据流水线首先验证输入契约,包括必需列、数据类型、取值范围、主键唯一性、时间范围和标签合法值。若列缺失或单位变化,应立即失败并给出明确错误,而不是让模型在错误输入上继续训练。

质量报告还应统计缺失率、类别分布、异常值和重复样本,并与上一版本比较。

构建可训练流水线

python
import pandas as pd
from sklearn.compose import ColumnTransformer
from sklearn.impute import SimpleImputer
from sklearn.model_selection import train_test_split
from sklearn.pipeline import Pipeline
from sklearn.preprocessing import OneHotEncoder, StandardScaler

data = pd.DataFrame({
    "age": [22, 35, 47, 29, 41, 52, 31, 45],
    "income": [3500, 8200, 12000, 5600, None, 15000, 6800, 11000],
    "city": ["A", "B", "A", "C", "B", "A", "C", None],
    "target": [0, 1, 1, 0, 1, 1, 0, 1],
})

X = data.drop(columns="target")
y = data["target"]
X_train, X_test, y_train, y_test = train_test_split(
    X, y,
    test_size=0.25,
    stratify=y,
    random_state=42,
)

numeric = ["age", "income"]
categorical = ["city"]

preprocessor = ColumnTransformer([
    ("num", Pipeline([
        ("impute", SimpleImputer(strategy="median")),
        ("scale", StandardScaler()),
    ]), numeric),
    ("cat", Pipeline([
        ("impute", SimpleImputer(strategy="most_frequent")),
        ("encode", OneHotEncoder(handle_unknown="ignore")),
    ]), categorical),
])

X_train_ready = preprocessor.fit_transform(X_train)
X_test_ready = preprocessor.transform(X_test)

print("训练矩阵:", X_train_ready.shape)
print("测试矩阵:", X_test_ready.shape)

预期结果:

text
输出训练矩阵和测试矩阵形状。
两者转换后的列数一致,测试集不会单独学习填充值和类别字典。

正确的执行顺序

先划分训练与测试数据,再在训练集上拟合预处理器。特征选择、缩放、目标编码和重采样都必须遵守这一顺序。时间数据还要按预测时点划分,而不是随机拆分。

正式项目应把预处理器和模型放入同一 Pipeline,避免训练矩阵和预测矩阵由不同代码生成。

数据版本与可追踪性

训练结果应绑定数据快照或查询条件、特征代码版本和生成时间。若数据量较大无法保存完整快照,至少保存时间范围、源表版本、行数、字段统计和哈希摘要。只有能重建同一训练数据,模型实验才真正可复现。

工程验收

把数据检查和转换封装为可重复执行任务,并在失败时输出字段级原因。流水线每次运行应记录输入行数、删除行数、各列缺失率、类别比例、转换后维度和耗时。与上一版本差异超过阈值时阻止自动训练,等待人工确认。

还要为关键转换编写单元测试:缺失值是否按约定填充,未知类别是否被安全处理,金额和时间单位是否正确,训练测试列数是否一致。数据量很大时可先在抽样数据上快速检查,再执行全量任务。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

构建数据处理流水线

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通