机器学习与深度学习 / 系统课时

构建训练流水线

构建训练流水线

学习目标

  • 理解流水线如何避免流程不一致
  • 组合数值与类别特征预处理
  • 通过同一对象完成训练和预测

为什么需要流水线

真实模型通常包含缺失值填充、缩放、类别编码、特征选择和预测器。若这些步骤分散在不同脚本中,交叉验证可能发生泄漏,线上也容易漏执行某一步。

流水线把转换器和模型封装成一个对象,fit 时按顺序学习参数,predict 时复用相同转换。

构建混合特征流水线

python
import pandas as pd
from sklearn.compose import ColumnTransformer
from sklearn.impute import SimpleImputer
from sklearn.linear_model import LogisticRegression
from sklearn.pipeline import Pipeline
from sklearn.preprocessing import OneHotEncoder, StandardScaler

X = pd.DataFrame({
    "age": [22, 35, 47, 29, 41, None],
    "income": [3500, 8200, 12000, 5600, None, 7600],
    "city": ["A", "B", "A", "C", "B", "C"],
})
y = [0, 1, 1, 0, 1, 0]

numeric = ["age", "income"]
categorical = ["city"]

preprocessor = ColumnTransformer([
    ("num", Pipeline([
        ("impute", SimpleImputer(strategy="median")),
        ("scale", StandardScaler()),
    ]), numeric),
    ("cat", Pipeline([
        ("impute", SimpleImputer(strategy="most_frequent")),
        ("encode", OneHotEncoder(handle_unknown="ignore")),
    ]), categorical),
])

model = Pipeline([
    ("preprocess", preprocessor),
    ("classifier", LogisticRegression(max_iter=1000)),
])

model.fit(X, y)
prediction = model.predict(pd.DataFrame({
    "age": [33],
    "income": [7000],
    "city": ["D"],
}))

print("预测类别:", prediction.tolist())

预期结果:

text
输出一个包含 0 或 1 的预测列表。
未见过的城市 D 不会报错,因为编码器设置了 handle_unknown="ignore"。

交叉验证中的价值

流水线进入交叉验证后,每个折都会重新拟合填充值、缩放参数和类别字典,避免验证折信息提前进入训练。参数搜索时使用 步骤名__参数名 指定内部参数,例如 classifier__C。

这也是线上部署的最小交付单元:保存整个流水线,而不是只保存最后的分类器。

输入契约

流水线不能代替输入校验。接口仍需检查字段名称、类型、允许范围、单位和必填规则。handle_unknown="ignore" 能处理新类别,但不表示所有异常字符串都应静默接受。

应保存训练时的列清单和版本,并在预测前验证缺列、多列和顺序问题。

流水线测试

至少准备四类测试输入:字段齐全的正常样本、包含缺失值的样本、出现训练期未见类别的样本,以及列名或类型错误的样本。前三类应稳定预测,最后一类应在接口校验层明确拒绝。还应检查 get_feature_names_out,确认转换后特征顺序可追踪。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

构建训练流水线

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通