机器学习与深度学习 / 系统课时

理解机器学习工作流

理解机器学习工作流

学习目标

完成本课后,你将能够:

  • 描述机器学习项目从问题定义到部署监控的完整流程
  • 说明训练集、验证集和测试集的职责
  • 识别数据泄漏和离线指标失真的风险

完整工作流

一个可交付的机器学习项目通常包含以下阶段:

text
业务问题定义
    ↓
数据收集与理解
    ↓
数据清洗与特征工程
    ↓
划分训练集、验证集、测试集
    ↓
模型训练与调参
    ↓
离线评估与误差分析
    ↓
部署上线
    ↓
监控、反馈与再训练

机器学习项目完整工作流

先定义业务问题和指标

模型训练前必须把业务问题改写成可计算任务。至少明确:

  • 预测对象:对谁或什么进行预测。
  • 预测时间点:模型在什么时候产生结果。
  • 目标变量:预测连续值还是类别。
  • 可用特征:预测时真正能够获得哪些数据。
  • 评价指标:准确率、召回率、均方误差或业务收益。
  • 使用方式:结果由系统自动执行,还是交给人工审核。

指标必须与业务成本一致。例如欺诈识别不能只看准确率,因为正常订单数量远多于欺诈订单。

训练集、验证集与测试集

数据集 用途 是否参与调参
训练集 学习模型参数 是
验证集 选择模型和超参数 是
测试集 最终一次独立评估 否

测试集如果被反复用于选模型,就不再独立,最终指标会被高估。时间序列数据还应按照时间顺序划分,不能随机把未来样本放入训练集。

一个最小工作流示例

python
from sklearn.datasets import load_iris
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import accuracy_score
from sklearn.model_selection import train_test_split

features, labels = load_iris(return_X_y=True)

# 固定 random_state,确保每次划分一致,便于复现实验
x_train, x_test, y_train, y_test = train_test_split(
    features,
    labels,
    test_size=0.2,
    random_state=42,
    stratify=labels
)

model = LogisticRegression(max_iter=300)
model.fit(x_train, y_train)

predictions = model.predict(x_test)
print(f"测试集准确率: {accuracy_score(y_test, predictions):.2f}")

预期输出:

text
测试集准确率: 1.00

这个结果只说明模型在当前小型测试集上的表现,不能直接代表生产环境长期效果。

上线后的监控重点

部署不是流程终点。生产阶段至少要监控输入字段缺失率、特征分布变化、预测分布、接口耗时、错误率和有真实标签后的业务指标。

当用户行为、政策、商品结构或数据采集方式改变时,训练数据与线上数据会产生偏移,需要重新评估和训练模型。

本课练习

  1. 为“预测用户 30 天内是否流失”定义预测对象、时间点和标签。
  2. 解释为什么不能使用退款发生后的字段预测订单是否退款。
  3. 为一个线上模型列出至少 4 个监控指标。
按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

理解机器学习工作流

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通