机器学习与深度学习 / 系统课时

保存与加载模型

保存与加载模型

学习目标

  • 持久化完整训练流水线
  • 验证加载前后预测一致
  • 记录模型依赖和安全边界

保存什么对象

模型交付应保存包含预处理和预测器的完整流水线。只保存分类器会丢失填充值、缩放参数、类别编码字典和特征顺序,加载后无法复现训练期输入。

Python 生态常使用 joblib 或 pickle 持久化 scikit-learn 对象。

完整保存与回读

python
from pathlib import Path
import joblib
from sklearn.datasets import load_iris
from sklearn.pipeline import Pipeline
from sklearn.preprocessing import StandardScaler
from sklearn.linear_model import LogisticRegression

X, y = load_iris(return_X_y=True)
pipeline = Pipeline([
    ("scale", StandardScaler()),
    ("model", LogisticRegression(max_iter=1000)),
])
pipeline.fit(X, y)

sample = X[:3]
before = pipeline.predict(sample)

model_path = Path("iris-pipeline.joblib")
joblib.dump(pipeline, model_path)

loaded = joblib.load(model_path)
after = loaded.predict(sample)

print("保存前:", before.tolist())
print("加载后:", after.tolist())
print("结果一致:", bool((before == after).all()))
print("文件存在:", model_path.exists())

预期输出:

text
保存前: [0, 0, 0]
加载后: [0, 0, 0]
结果一致: True
文件存在: True

版本兼容与元数据

scikit-learn 持久化对象不保证跨大版本完全兼容。交付时应同时记录 Python、scikit-learn、numpy 和 joblib 版本,以及训练代码提交、数据版本、特征版本、指标和阈值。

可以为模型文件计算 SHA-256,用于确认文件传输后未被替换或损坏。

安全注意事项

joblib.load 和 pickle.load 可能执行恶意对象代码,只能加载可信来源文件。不要把用户上传的模型文件直接加载到生产进程。

若需要跨语言或更强兼容性,可评估 ONNX 等格式,但并非所有流水线步骤都能无损转换,转换后必须重新验证预测一致性。

交付验收

加载测试至少包含正常样本、缺失值、新类别和边界值。验证输出类别、概率、特征列和性能与保存前一致。模型文件存在并能加载只是最低要求,不能替代端到端预测测试。

模型文件管理

模型文件不应被同名覆盖。发布时使用包含模型版本和哈希的路径,并把“当前生产版本”作为独立配置指向具体文件。回滚只切换版本引用,不重新训练。清理旧版本前要确认审计和复现周期已经结束。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

保存与加载模型

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通