机器学习与深度学习 / 系统课时
使用梯度提升模型
使用梯度提升模型
学习目标
- 训练梯度提升分类器
- 在同一数据划分上比较随机森林
- 根据效果、速度和解释需求选择模型
建立公平比较
比较模型时必须使用相同训练集、测试集和评价指标。随机森林通过并行树投票降低方差,梯度提升通过串行浅树逐步降低损失。两者都能拟合非线性关系,但训练特性和调参方式不同。
表格数据中,梯度提升常能获得更高精度;随机森林通常更容易建立稳定基线,对参数不那么敏感。
训练两个候选模型
python
from sklearn.datasets import load_breast_cancer
from sklearn.ensemble import GradientBoostingClassifier, RandomForestClassifier
from sklearn.metrics import roc_auc_score
from sklearn.model_selection import train_test_split
X, y = load_breast_cancer(return_X_y=True)
X_train, X_test, y_train, y_test = train_test_split(
X, y, test_size=0.3, stratify=y, random_state=42
)
models = {
"随机森林": RandomForestClassifier(
n_estimators=300,
min_samples_leaf=2,
random_state=42,
n_jobs=-1,
),
"梯度提升": GradientBoostingClassifier(
n_estimators=120,
learning_rate=0.05,
max_depth=2,
random_state=42,
),
}
for name, model in models.items():
model.fit(X_train, y_train)
score = model.predict_proba(X_test)[:, 1]
auc = roc_auc_score(y_test, score)
print(f"{name} AUC: {auc:.3f}")预期结果:
text
输出随机森林与梯度提升在同一测试集上的 AUC。
两者通常都能取得较高 AUC,但具体领先者可能随版本和参数变化。这里只做演示,正式选择应使用交叉验证,并记录训练时间、预测延迟和模型大小。
梯度提升的关键参数
n_estimators 是迭代轮数,learning_rate 控制每轮贡献,max_depth 决定单棵弱学习器能表示的交互复杂度。树过深或学习率过大都可能快速过拟合。subsample 小于 1 时会对每轮样本做随机抽样,可增加随机性并减少方差。
调参时优先联动学习率与迭代轮数,然后控制树深度和叶节点样本数。不要一开始就使用非常深的树,否则失去“弱学习器逐步修正”的优势。
模型选择判断
若数据规模中等、追求快速稳定基线和并行训练,随机森林通常更省心。若愿意投入更多调参,并把预测性能放在首位,梯度提升往往更有潜力。若需要极低延迟,应实测树数量和深度带来的预测成本。
最终结论不能只看单次 AUC。还要比较跨折波动、关键类别召回率、校准效果、训练资源和上线维护复杂度。
按自己的节奏,确认真正理解。