机器学习与深度学习 / 系统课时

理解 Boosting 思想

理解 Boosting 思想

学习目标

  • 理解 Boosting 的串行训练机制
  • 区分 Boosting 与 Bagging 的目标
  • 认识学习率与弱学习器数量的配合

连续修正而非独立投票

Boosting 按顺序训练一组弱学习器。后一个学习器重点处理当前集成模型仍然预测不好的部分,最终把多个弱模型加权组合成强模型。它不是让每个模型独立完成同一任务,而是让模型逐步补充前面的不足。

AdaBoost 会提高错分样本的权重;梯度提升则让新模型拟合损失函数的负梯度,可直观理解为拟合当前残差或错误方向。

与 Bagging 的区别

Bagging 中各模型通常可以并行训练,重点是通过平均降低方差;Boosting 必须按顺序训练,重点是逐步降低偏差并细化难例。Bagging 常使用较深、较不稳定的树,Boosting 常使用浅树作为弱学习器。

两者都属于集成学习,但不能只根据模型数量比较。Boosting 对噪声、异常标签和超参数更敏感,训练错误若被反复强化,可能导致过拟合。

学习率与模型数量

每棵新树不会把完整修正一次性加入模型,而是乘以学习率。较小学习率意味着每一步更新更保守,通常需要更多树;较大学习率训练更快,但容易越过较好的解或过拟合。

常见做法是先选较小学习率,再增加 n_estimators,通过验证集或早停找到合适迭代次数。这两个参数必须联动考虑,不能单独解释。

一个简化过程

假设回归目标为 [10, 20, 30],初始模型统一预测均值 20,残差为 [-10, 0, 10]。第一棵小树尝试区分低值和高值样本,预测一部分残差;更新后重新计算残差,下一棵树继续拟合剩余误差。

真实梯度提升会根据指定损失计算梯度,但核心仍是“当前模型哪里错,新模型就往哪里修”。分类任务中修正对象通常不是原始标签差值,而是损失函数对应的梯度。

使用时的风险

Boosting 训练是串行的,模型数量较多时训练成本高于随机森林。浅树、较小学习率、子采样和早停可以改善泛化。若标签噪声严重,应先做错误分析,避免算法持续追逐无法学习的异常样本。

评估时应同时关注训练曲线与验证曲线。验证分数在某一轮后不再提升甚至下降,就是停止增加学习器的信号。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

理解 Boosting 思想

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通