机器学习与深度学习 / 系统课时
理解 Bagging 思想
理解 Bagging 思想
学习目标
- 理解自助采样与并行训练
- 掌握分类投票和回归平均的聚合方式
- 知道 Bagging 主要降低模型方差
从单棵树的不稳定说起
单棵决策树对数据扰动很敏感。训练集中替换少量样本,最优分裂就可能改变,最终形成完全不同的树。Bagging 的思路是训练多批略有差异的模型,再把结果聚合,让单个模型的偶然误差相互抵消。
每个基模型通常使用从原训练集有放回抽样得到的自助样本。因为允许重复,一部分样本会多次出现,另一部分不会进入该基模型的训练集。
训练和聚合流程
Bagging 的步骤可以概括为:重复生成多个自助样本;在每个样本集上独立训练基模型;分类任务使用多数投票或平均概率;回归任务使用预测均值。
各基模型可以并行训练。模型数量增加时,结果通常更稳定,但计算和内存成本也随之上升。Bagging 主要降低方差,对本身偏差很大的弱模型帮助有限。
运行一个 Bagging 分类器
python
from sklearn.datasets import load_breast_cancer
from sklearn.ensemble import BaggingClassifier
from sklearn.model_selection import train_test_split
from sklearn.tree import DecisionTreeClassifier
X, y = load_breast_cancer(return_X_y=True)
X_train, X_test, y_train, y_test = train_test_split(
X, y, test_size=0.3, stratify=y, random_state=42
)
model = BaggingClassifier(
estimator=DecisionTreeClassifier(random_state=42),
n_estimators=100,
random_state=42,
n_jobs=-1,
)
model.fit(X_train, y_train)
print(f"训练准确率: {model.score(X_train, y_train):.3f}")
print(f"测试准确率: {model.score(X_test, y_test):.3f}")预期结果:
text
输出训练集与测试集准确率。
与单棵无限深决策树相比,测试结果通常更稳定。具体数值可能随 scikit-learn 版本略有差异,验证时应使用固定数据划分并与单模型基线比较。
袋外样本的价值
某个基模型没有抽到的样本称为袋外样本。启用 oob_score=True 后,可以用这些样本估计泛化表现,不必额外划出验证集。袋外分数适合快速实验,但正式比较仍建议使用统一交叉验证或独立测试集。
Bagging 的效果依赖基模型之间存在差异。如果所有模型几乎相同,它们会犯相同错误,聚合收益有限。随机森林会进一步随机选择特征,以降低树之间的相关性。
按自己的节奏,确认真正理解。