机器学习与深度学习 / 系统课时

使用随机森林

使用随机森林

学习目标

  • 理解随机森林相对普通 Bagging 的改进
  • 训练并评估随机森林分类器
  • 掌握关键参数和适用场景

两层随机性

随机森林以决策树为基模型,同时引入样本随机性和特征随机性。每棵树使用自助样本训练;每个节点分裂时只从随机选择的一部分特征中寻找最佳条件。这样能减少不同树反复依赖同一强特征,使树之间差异更大。

当基模型准确且错误不完全相关时,投票后的森林通常比单棵树稳定。随机森林能处理非线性和特征交互,也不要求数值特征标准化。

训练一个分类模型

python
from sklearn.datasets import load_breast_cancer
from sklearn.ensemble import RandomForestClassifier
from sklearn.metrics import classification_report
from sklearn.model_selection import train_test_split

X, y = load_breast_cancer(return_X_y=True)
X_train, X_test, y_train, y_test = train_test_split(
    X, y, test_size=0.3, stratify=y, random_state=42
)

model = RandomForestClassifier(
    n_estimators=300,
    max_depth=None,
    min_samples_leaf=2,
    class_weight="balanced",
    random_state=42,
    n_jobs=-1,
)
model.fit(X_train, y_train)
y_pred = model.predict(X_test)

print(classification_report(y_test, y_pred, digits=3))

预期结果:

text
输出两个类别的 precision、recall、f1-score 和样本数。
整体准确率通常高于 0.90,但具体数值可能随库版本略有变化。

固定 random_state 能提高复现性,n_jobs=-1 会使用可用 CPU 核心并行训练。

关键参数怎么调

n_estimators 控制树的数量,增加后性能通常趋于稳定,但训练和预测成本上升。max_features 控制每次分裂可见的特征数量,是树之间差异的重要来源。max_depth、min_samples_leaf 和 max_leaf_nodes 控制单棵树复杂度。

实践中先把树数量设到结果稳定,再调单树复杂度和 max_features。不要同时搜索过多参数,否则计算成本很高且难以判断哪个变化真正有效。

适用与限制

随机森林适合作为结构化表格数据的强基线,尤其在特征关系复杂、非线性明显时表现稳定。它对异常值和单调变换相对不敏感,但模型体积和预测延迟会随树数量增长。

森林输出的特征重要性仍有偏差,概率也不一定校准。需要低延迟、可直接解释的简单规则或高质量概率时,应结合其他模型和校准方法比较。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

使用随机森林

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通