机器学习与深度学习 / 系统课时

理解 Bagging 思想

理解 Bagging 思想

学习目标

  • 理解自助采样与并行训练
  • 掌握分类投票和回归平均的聚合方式
  • 知道 Bagging 主要降低模型方差

从单棵树的不稳定说起

单棵决策树对数据扰动很敏感。训练集中替换少量样本,最优分裂就可能改变,最终形成完全不同的树。Bagging 的思路是训练多批略有差异的模型,再把结果聚合,让单个模型的偶然误差相互抵消。

每个基模型通常使用从原训练集有放回抽样得到的自助样本。因为允许重复,一部分样本会多次出现,另一部分不会进入该基模型的训练集。

训练和聚合流程

Bagging 的步骤可以概括为:重复生成多个自助样本;在每个样本集上独立训练基模型;分类任务使用多数投票或平均概率;回归任务使用预测均值。

各基模型可以并行训练。模型数量增加时,结果通常更稳定,但计算和内存成本也随之上升。Bagging 主要降低方差,对本身偏差很大的弱模型帮助有限。

运行一个 Bagging 分类器

python
from sklearn.datasets import load_breast_cancer
from sklearn.ensemble import BaggingClassifier
from sklearn.model_selection import train_test_split
from sklearn.tree import DecisionTreeClassifier

X, y = load_breast_cancer(return_X_y=True)
X_train, X_test, y_train, y_test = train_test_split(
    X, y, test_size=0.3, stratify=y, random_state=42
)

model = BaggingClassifier(
    estimator=DecisionTreeClassifier(random_state=42),
    n_estimators=100,
    random_state=42,
    n_jobs=-1,
)
model.fit(X_train, y_train)

print(f"训练准确率: {model.score(X_train, y_train):.3f}")
print(f"测试准确率: {model.score(X_test, y_test):.3f}")

预期结果:

text
输出训练集与测试集准确率。
与单棵无限深决策树相比,测试结果通常更稳定。

具体数值可能随 scikit-learn 版本略有差异,验证时应使用固定数据划分并与单模型基线比较。

袋外样本的价值

某个基模型没有抽到的样本称为袋外样本。启用 oob_score=True 后,可以用这些样本估计泛化表现,不必额外划出验证集。袋外分数适合快速实验,但正式比较仍建议使用统一交叉验证或独立测试集。

Bagging 的效果依赖基模型之间存在差异。如果所有模型几乎相同,它们会犯相同错误,聚合收益有限。随机森林会进一步随机选择特征,以降低树之间的相关性。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

理解 Bagging 思想

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通