机器学习与深度学习 / 系统课时
构建训练流水线
构建训练流水线
学习目标
- 理解流水线如何避免流程不一致
- 组合数值与类别特征预处理
- 通过同一对象完成训练和预测
为什么需要流水线
真实模型通常包含缺失值填充、缩放、类别编码、特征选择和预测器。若这些步骤分散在不同脚本中,交叉验证可能发生泄漏,线上也容易漏执行某一步。
流水线把转换器和模型封装成一个对象,fit 时按顺序学习参数,predict 时复用相同转换。
构建混合特征流水线
python
import pandas as pd
from sklearn.compose import ColumnTransformer
from sklearn.impute import SimpleImputer
from sklearn.linear_model import LogisticRegression
from sklearn.pipeline import Pipeline
from sklearn.preprocessing import OneHotEncoder, StandardScaler
X = pd.DataFrame({
"age": [22, 35, 47, 29, 41, None],
"income": [3500, 8200, 12000, 5600, None, 7600],
"city": ["A", "B", "A", "C", "B", "C"],
})
y = [0, 1, 1, 0, 1, 0]
numeric = ["age", "income"]
categorical = ["city"]
preprocessor = ColumnTransformer([
("num", Pipeline([
("impute", SimpleImputer(strategy="median")),
("scale", StandardScaler()),
]), numeric),
("cat", Pipeline([
("impute", SimpleImputer(strategy="most_frequent")),
("encode", OneHotEncoder(handle_unknown="ignore")),
]), categorical),
])
model = Pipeline([
("preprocess", preprocessor),
("classifier", LogisticRegression(max_iter=1000)),
])
model.fit(X, y)
prediction = model.predict(pd.DataFrame({
"age": [33],
"income": [7000],
"city": ["D"],
}))
print("预测类别:", prediction.tolist())预期结果:
text
输出一个包含 0 或 1 的预测列表。
未见过的城市 D 不会报错,因为编码器设置了 handle_unknown="ignore"。交叉验证中的价值
流水线进入交叉验证后,每个折都会重新拟合填充值、缩放参数和类别字典,避免验证折信息提前进入训练。参数搜索时使用 步骤名__参数名 指定内部参数,例如 classifier__C。
这也是线上部署的最小交付单元:保存整个流水线,而不是只保存最后的分类器。
输入契约
流水线不能代替输入校验。接口仍需检查字段名称、类型、允许范围、单位和必填规则。handle_unknown="ignore" 能处理新类别,但不表示所有异常字符串都应静默接受。
应保存训练时的列清单和版本,并在预测前验证缺列、多列和顺序问题。
流水线测试
至少准备四类测试输入:字段齐全的正常样本、包含缺失值的样本、出现训练期未见类别的样本,以及列名或类型错误的样本。前三类应稳定预测,最后一类应在接口校验层明确拒绝。还应检查 get_feature_names_out,确认转换后特征顺序可追踪。
按自己的节奏,确认真正理解。