机器学习与深度学习 / 系统课时

比较并优化候选模型

比较并优化候选模型

学习目标

  • 建立统一的候选模型比较协议
  • 使用交叉验证比较均值与波动
  • 只对有潜力的模型调节关键参数

先固定比赛规则

候选模型必须使用同一数据版本、特征流水线、交叉验证折和评分指标。若一个模型使用额外特征或不同测试集,分数不能直接比较。

除主指标外,还应记录训练时间、预测延迟、模型大小、关键类别表现和解释成本。

统一比较三个模型

python
import pandas as pd
from sklearn.datasets import load_breast_cancer
from sklearn.ensemble import GradientBoostingClassifier, RandomForestClassifier
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import StratifiedKFold, cross_validate
from sklearn.pipeline import Pipeline
from sklearn.preprocessing import StandardScaler

X, y = load_breast_cancer(return_X_y=True)
cv = StratifiedKFold(n_splits=5, shuffle=True, random_state=42)

models = {
    "逻辑回归": Pipeline([
        ("scale", StandardScaler()),
        ("model", LogisticRegression(max_iter=2000)),
    ]),
    "随机森林": RandomForestClassifier(
        n_estimators=300,
        min_samples_leaf=2,
        random_state=42,
        n_jobs=-1,
    ),
    "梯度提升": GradientBoostingClassifier(
        n_estimators=120,
        learning_rate=0.05,
        max_depth=2,
        random_state=42,
    ),
}

rows = []
for name, model in models.items():
    result = cross_validate(
        model,
        X,
        y,
        cv=cv,
        scoring="roc_auc",
        n_jobs=-1,
    )
    rows.append({
        "model": name,
        "auc_mean": result["test_score"].mean(),
        "auc_std": result["test_score"].std(),
        "fit_seconds": result["fit_time"].mean(),
    })

print(pd.DataFrame(rows).round(4).sort_values("auc_mean", ascending=False))

预期结果:

text
输出三个模型的平均 AUC、标准差和平均训练时间。
排名可能随 scikit-learn 版本和运行环境略有变化。

从比较到调优

先淘汰明显低于基线或不满足资源约束的模型,再对前一到两个候选方案调优。每个模型只搜索最关键参数,例如随机森林的叶节点大小与特征采样,梯度提升的学习率、树数量和深度。

若分数差异小于交叉验证波动,应视为效果接近,优先选择更简单、更快或更容易维护的模型。

最终锁定

参数选择完成后冻结特征、模型和阈值,在独立测试集或时间外数据上做一次最终评估。测试结果应原样进入报告,不能继续围绕它调参。

最终模型还要通过接口输入、批量预测、异常值和缺失字段测试,确认离线最佳能够转化为工程可用。

优化边界

调优期间应设置时间或试验次数预算,并提前定义停止条件,例如连续两轮改进小于 0.002。每次只改变一组可解释因素,避免特征、数据和参数同时变化后无法归因。候选模型还应在关键业务子群上通过最低指标,而不是只追求总体平均值。

模型锁定后生成不可变配置,包含特征列表、预处理参数、模型参数和阈值。任何变更都应产生新版本并重新走评估。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

比较并优化候选模型

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通