机器学习与深度学习 / 系统课时
保存与加载模型
保存与加载模型
学习目标
- 持久化完整训练流水线
- 验证加载前后预测一致
- 记录模型依赖和安全边界
保存什么对象
模型交付应保存包含预处理和预测器的完整流水线。只保存分类器会丢失填充值、缩放参数、类别编码字典和特征顺序,加载后无法复现训练期输入。
Python 生态常使用 joblib 或 pickle 持久化 scikit-learn 对象。
完整保存与回读
python
from pathlib import Path
import joblib
from sklearn.datasets import load_iris
from sklearn.pipeline import Pipeline
from sklearn.preprocessing import StandardScaler
from sklearn.linear_model import LogisticRegression
X, y = load_iris(return_X_y=True)
pipeline = Pipeline([
("scale", StandardScaler()),
("model", LogisticRegression(max_iter=1000)),
])
pipeline.fit(X, y)
sample = X[:3]
before = pipeline.predict(sample)
model_path = Path("iris-pipeline.joblib")
joblib.dump(pipeline, model_path)
loaded = joblib.load(model_path)
after = loaded.predict(sample)
print("保存前:", before.tolist())
print("加载后:", after.tolist())
print("结果一致:", bool((before == after).all()))
print("文件存在:", model_path.exists())预期输出:
text
保存前: [0, 0, 0]
加载后: [0, 0, 0]
结果一致: True
文件存在: True版本兼容与元数据
scikit-learn 持久化对象不保证跨大版本完全兼容。交付时应同时记录 Python、scikit-learn、numpy 和 joblib 版本,以及训练代码提交、数据版本、特征版本、指标和阈值。
可以为模型文件计算 SHA-256,用于确认文件传输后未被替换或损坏。
安全注意事项
joblib.load 和 pickle.load 可能执行恶意对象代码,只能加载可信来源文件。不要把用户上传的模型文件直接加载到生产进程。
若需要跨语言或更强兼容性,可评估 ONNX 等格式,但并非所有流水线步骤都能无损转换,转换后必须重新验证预测一致性。
交付验收
加载测试至少包含正常样本、缺失值、新类别和边界值。验证输出类别、概率、特征列和性能与保存前一致。模型文件存在并能加载只是最低要求,不能替代端到端预测测试。
模型文件管理
模型文件不应被同名覆盖。发布时使用包含模型版本和哈希的路径,并把“当前生产版本”作为独立配置指向具体文件。回滚只切换版本引用,不重新训练。清理旧版本前要确认审计和复现周期已经结束。
按自己的节奏,确认真正理解。