机器学习与深度学习 / 系统课时
训练项目基线模型
训练项目基线模型
学习目标
- 理解基线模型的工程价值
- 训练并评估一个简单分类基线
- 保存可复现的基线结果
为什么先做简单模型
基线提供最低可接受参考,验证数据、标签、特征和评估代码是否连通。简单模型训练快、解释清晰,能尽早发现泄漏、类别不平衡和划分错误。
若复杂模型只比基线提升极小,却显著增加延迟和维护成本,项目可能不值得升级。
建立虚拟基线与逻辑回归
python
from sklearn.datasets import load_breast_cancer
from sklearn.dummy import DummyClassifier
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import roc_auc_score
from sklearn.model_selection import train_test_split
from sklearn.pipeline import Pipeline
from sklearn.preprocessing import StandardScaler
X, y = load_breast_cancer(return_X_y=True)
X_train, X_test, y_train, y_test = train_test_split(
X, y,
test_size=0.3,
stratify=y,
random_state=42,
)
models = {
"虚拟基线": DummyClassifier(strategy="prior"),
"逻辑回归": Pipeline([
("scale", StandardScaler()),
("model", LogisticRegression(max_iter=2000)),
]),
}
for name, model in models.items():
model.fit(X_train, y_train)
score = model.predict_proba(X_test)[:, 1]
auc = roc_auc_score(y_test, score)
print(f"{name} AUC: {auc:.3f}")预期结果:
text
虚拟基线 AUC 接近 0.500。
逻辑回归 AUC 明显高于虚拟基线,具体数值可能随版本略有变化。基线验收
除核心指标外,还要检查混淆矩阵、类别指标、训练时间和预测时间。若训练分数异常接近 1,应检查泄漏;若模型与虚拟基线相近,应检查特征是否有信息、标签是否正确或任务是否可预测。
基线参数应保持简单,避免一开始就大量调优,否则失去参照意义。
记录实验
保存数据划分随机种子、特征列表、预处理步骤、模型参数、指标和运行环境。把基线结果写入固定报告或实验跟踪系统,后续所有候选模型都在相同协议下比较。
一个可复现的普通基线,比一个无法重跑的高分模型更有工程价值。
基线通过标准
基线至少应满足完整运行、结果可复现、指标计算正确和错误样本可回查。若简单模型已经达到业务目标,可以先上线低复杂度方案,再通过监控积累数据;不必为了使用更高级算法而增加不必要风险。
同时保存训练集与测试集表现。两者差距异常大时,先处理过拟合或划分问题,再进入候选模型比较。
按自己的节奏,确认真正理解。