机器学习与深度学习 / 系统课时
构建数据处理流水线
构建数据处理流水线
学习目标
- 建立训练数据质量检查
- 统一数值与类别特征预处理
- 避免划分和预处理阶段的数据泄漏
从数据契约开始
数据流水线首先验证输入契约,包括必需列、数据类型、取值范围、主键唯一性、时间范围和标签合法值。若列缺失或单位变化,应立即失败并给出明确错误,而不是让模型在错误输入上继续训练。
质量报告还应统计缺失率、类别分布、异常值和重复样本,并与上一版本比较。
构建可训练流水线
python
import pandas as pd
from sklearn.compose import ColumnTransformer
from sklearn.impute import SimpleImputer
from sklearn.model_selection import train_test_split
from sklearn.pipeline import Pipeline
from sklearn.preprocessing import OneHotEncoder, StandardScaler
data = pd.DataFrame({
"age": [22, 35, 47, 29, 41, 52, 31, 45],
"income": [3500, 8200, 12000, 5600, None, 15000, 6800, 11000],
"city": ["A", "B", "A", "C", "B", "A", "C", None],
"target": [0, 1, 1, 0, 1, 1, 0, 1],
})
X = data.drop(columns="target")
y = data["target"]
X_train, X_test, y_train, y_test = train_test_split(
X, y,
test_size=0.25,
stratify=y,
random_state=42,
)
numeric = ["age", "income"]
categorical = ["city"]
preprocessor = ColumnTransformer([
("num", Pipeline([
("impute", SimpleImputer(strategy="median")),
("scale", StandardScaler()),
]), numeric),
("cat", Pipeline([
("impute", SimpleImputer(strategy="most_frequent")),
("encode", OneHotEncoder(handle_unknown="ignore")),
]), categorical),
])
X_train_ready = preprocessor.fit_transform(X_train)
X_test_ready = preprocessor.transform(X_test)
print("训练矩阵:", X_train_ready.shape)
print("测试矩阵:", X_test_ready.shape)预期结果:
text
输出训练矩阵和测试矩阵形状。
两者转换后的列数一致,测试集不会单独学习填充值和类别字典。正确的执行顺序
先划分训练与测试数据,再在训练集上拟合预处理器。特征选择、缩放、目标编码和重采样都必须遵守这一顺序。时间数据还要按预测时点划分,而不是随机拆分。
正式项目应把预处理器和模型放入同一 Pipeline,避免训练矩阵和预测矩阵由不同代码生成。
数据版本与可追踪性
训练结果应绑定数据快照或查询条件、特征代码版本和生成时间。若数据量较大无法保存完整快照,至少保存时间范围、源表版本、行数、字段统计和哈希摘要。只有能重建同一训练数据,模型实验才真正可复现。
工程验收
把数据检查和转换封装为可重复执行任务,并在失败时输出字段级原因。流水线每次运行应记录输入行数、删除行数、各列缺失率、类别比例、转换后维度和耗时。与上一版本差异超过阈值时阻止自动训练,等待人工确认。
还要为关键转换编写单元测试:缺失值是否按约定填充,未知类别是否被安全处理,金额和时间单位是否正确,训练测试列数是否一致。数据量很大时可先在抽样数据上快速检查,再执行全量任务。
按自己的节奏,确认真正理解。