机器学习与深度学习 / 系统课时

训练项目基线模型

训练项目基线模型

学习目标

  • 理解基线模型的工程价值
  • 训练并评估一个简单分类基线
  • 保存可复现的基线结果

为什么先做简单模型

基线提供最低可接受参考,验证数据、标签、特征和评估代码是否连通。简单模型训练快、解释清晰,能尽早发现泄漏、类别不平衡和划分错误。

若复杂模型只比基线提升极小,却显著增加延迟和维护成本,项目可能不值得升级。

建立虚拟基线与逻辑回归

python
from sklearn.datasets import load_breast_cancer
from sklearn.dummy import DummyClassifier
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import roc_auc_score
from sklearn.model_selection import train_test_split
from sklearn.pipeline import Pipeline
from sklearn.preprocessing import StandardScaler

X, y = load_breast_cancer(return_X_y=True)
X_train, X_test, y_train, y_test = train_test_split(
    X, y,
    test_size=0.3,
    stratify=y,
    random_state=42,
)

models = {
    "虚拟基线": DummyClassifier(strategy="prior"),
    "逻辑回归": Pipeline([
        ("scale", StandardScaler()),
        ("model", LogisticRegression(max_iter=2000)),
    ]),
}

for name, model in models.items():
    model.fit(X_train, y_train)
    score = model.predict_proba(X_test)[:, 1]
    auc = roc_auc_score(y_test, score)
    print(f"{name} AUC: {auc:.3f}")

预期结果:

text
虚拟基线 AUC 接近 0.500。
逻辑回归 AUC 明显高于虚拟基线,具体数值可能随版本略有变化。

基线验收

除核心指标外,还要检查混淆矩阵、类别指标、训练时间和预测时间。若训练分数异常接近 1,应检查泄漏;若模型与虚拟基线相近,应检查特征是否有信息、标签是否正确或任务是否可预测。

基线参数应保持简单,避免一开始就大量调优,否则失去参照意义。

记录实验

保存数据划分随机种子、特征列表、预处理步骤、模型参数、指标和运行环境。把基线结果写入固定报告或实验跟踪系统,后续所有候选模型都在相同协议下比较。

一个可复现的普通基线,比一个无法重跑的高分模型更有工程价值。

基线通过标准

基线至少应满足完整运行、结果可复现、指标计算正确和错误样本可回查。若简单模型已经达到业务目标,可以先上线低复杂度方案,再通过监控积累数据;不必为了使用更高级算法而增加不必要风险。

同时保存训练集与测试集表现。两者差距异常大时,先处理过拟合或划分问题,再进入候选模型比较。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

训练项目基线模型

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通