机器学习与深度学习 / 系统课时

使用梯度提升模型

使用梯度提升模型

学习目标

  • 训练梯度提升分类器
  • 在同一数据划分上比较随机森林
  • 根据效果、速度和解释需求选择模型

建立公平比较

比较模型时必须使用相同训练集、测试集和评价指标。随机森林通过并行树投票降低方差,梯度提升通过串行浅树逐步降低损失。两者都能拟合非线性关系,但训练特性和调参方式不同。

表格数据中,梯度提升常能获得更高精度;随机森林通常更容易建立稳定基线,对参数不那么敏感。

训练两个候选模型

python
from sklearn.datasets import load_breast_cancer
from sklearn.ensemble import GradientBoostingClassifier, RandomForestClassifier
from sklearn.metrics import roc_auc_score
from sklearn.model_selection import train_test_split

X, y = load_breast_cancer(return_X_y=True)
X_train, X_test, y_train, y_test = train_test_split(
    X, y, test_size=0.3, stratify=y, random_state=42
)

models = {
    "随机森林": RandomForestClassifier(
        n_estimators=300,
        min_samples_leaf=2,
        random_state=42,
        n_jobs=-1,
    ),
    "梯度提升": GradientBoostingClassifier(
        n_estimators=120,
        learning_rate=0.05,
        max_depth=2,
        random_state=42,
    ),
}

for name, model in models.items():
    model.fit(X_train, y_train)
    score = model.predict_proba(X_test)[:, 1]
    auc = roc_auc_score(y_test, score)
    print(f"{name} AUC: {auc:.3f}")

预期结果:

text
输出随机森林与梯度提升在同一测试集上的 AUC。
两者通常都能取得较高 AUC,但具体领先者可能随版本和参数变化。

这里只做演示,正式选择应使用交叉验证,并记录训练时间、预测延迟和模型大小。

梯度提升的关键参数

n_estimators 是迭代轮数,learning_rate 控制每轮贡献,max_depth 决定单棵弱学习器能表示的交互复杂度。树过深或学习率过大都可能快速过拟合。subsample 小于 1 时会对每轮样本做随机抽样,可增加随机性并减少方差。

调参时优先联动学习率与迭代轮数,然后控制树深度和叶节点样本数。不要一开始就使用非常深的树,否则失去“弱学习器逐步修正”的优势。

模型选择判断

若数据规模中等、追求快速稳定基线和并行训练,随机森林通常更省心。若愿意投入更多调参,并把预测性能放在首位,梯度提升往往更有潜力。若需要极低延迟,应实测树数量和深度带来的预测成本。

最终结论不能只看单次 AUC。还要比较跨折波动、关键类别召回率、校准效果、训练资源和上线维护复杂度。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

使用梯度提升模型

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通