机器学习与深度学习 / 系统课时
比较并优化候选模型
比较并优化候选模型
学习目标
- 建立统一的候选模型比较协议
- 使用交叉验证比较均值与波动
- 只对有潜力的模型调节关键参数
先固定比赛规则
候选模型必须使用同一数据版本、特征流水线、交叉验证折和评分指标。若一个模型使用额外特征或不同测试集,分数不能直接比较。
除主指标外,还应记录训练时间、预测延迟、模型大小、关键类别表现和解释成本。
统一比较三个模型
python
import pandas as pd
from sklearn.datasets import load_breast_cancer
from sklearn.ensemble import GradientBoostingClassifier, RandomForestClassifier
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import StratifiedKFold, cross_validate
from sklearn.pipeline import Pipeline
from sklearn.preprocessing import StandardScaler
X, y = load_breast_cancer(return_X_y=True)
cv = StratifiedKFold(n_splits=5, shuffle=True, random_state=42)
models = {
"逻辑回归": Pipeline([
("scale", StandardScaler()),
("model", LogisticRegression(max_iter=2000)),
]),
"随机森林": RandomForestClassifier(
n_estimators=300,
min_samples_leaf=2,
random_state=42,
n_jobs=-1,
),
"梯度提升": GradientBoostingClassifier(
n_estimators=120,
learning_rate=0.05,
max_depth=2,
random_state=42,
),
}
rows = []
for name, model in models.items():
result = cross_validate(
model,
X,
y,
cv=cv,
scoring="roc_auc",
n_jobs=-1,
)
rows.append({
"model": name,
"auc_mean": result["test_score"].mean(),
"auc_std": result["test_score"].std(),
"fit_seconds": result["fit_time"].mean(),
})
print(pd.DataFrame(rows).round(4).sort_values("auc_mean", ascending=False))预期结果:
text
输出三个模型的平均 AUC、标准差和平均训练时间。
排名可能随 scikit-learn 版本和运行环境略有变化。从比较到调优
先淘汰明显低于基线或不满足资源约束的模型,再对前一到两个候选方案调优。每个模型只搜索最关键参数,例如随机森林的叶节点大小与特征采样,梯度提升的学习率、树数量和深度。
若分数差异小于交叉验证波动,应视为效果接近,优先选择更简单、更快或更容易维护的模型。
最终锁定
参数选择完成后冻结特征、模型和阈值,在独立测试集或时间外数据上做一次最终评估。测试结果应原样进入报告,不能继续围绕它调参。
最终模型还要通过接口输入、批量预测、异常值和缺失字段测试,确认离线最佳能够转化为工程可用。
优化边界
调优期间应设置时间或试验次数预算,并提前定义停止条件,例如连续两轮改进小于 0.002。每次只改变一组可解释因素,避免特征、数据和参数同时变化后无法归因。候选模型还应在关键业务子群上通过最低指标,而不是只追求总体平均值。
模型锁定后生成不可变配置,包含特征列表、预处理参数、模型参数和阈值。任何变更都应产生新版本并重新走评估。
按自己的节奏,确认真正理解。