机器学习与深度学习 / 系统课时

控制决策树复杂度

控制决策树复杂度

学习目标

  • 识别决策树过拟合的表现
  • 使用预剪枝参数限制树结构
  • 通过验证结果选择合理复杂度

过拟合为何常见

如果不限制生长,决策树可以不断分裂,直到叶节点非常纯,甚至每个叶节点只包含少量样本。训练准确率可能接近 100%,但树记住了噪声和偶然模式,测试集表现反而下降。

典型信号是训练分数明显高于验证分数、树深度很大、叶节点数量快速增加,以及很多叶节点只有一两个样本。

常用控制参数

max_depth 限制最大深度,是最直观的复杂度开关;min_samples_split 规定内部节点继续分裂所需的最少样本数;min_samples_leaf 规定叶节点最少样本数,能直接减少过于细碎的规则;max_leaf_nodes 限制叶节点总数。

ccp_alpha 用于代价复杂度剪枝。值越大,模型越倾向删除收益不足的分支。实际项目通常先使用深度和叶节点样本数建立基线,再通过交叉验证选择剪枝强度。

比较不同深度

python
from sklearn.datasets import load_breast_cancer
from sklearn.model_selection import train_test_split
from sklearn.tree import DecisionTreeClassifier

X, y = load_breast_cancer(return_X_y=True)
X_train, X_test, y_train, y_test = train_test_split(
    X, y, test_size=0.3, stratify=y, random_state=42
)

for depth in [2, 4, None]:
    model = DecisionTreeClassifier(
        max_depth=depth,
        random_state=42,
    )
    model.fit(X_train, y_train)
    print(
        f"depth={depth}, "
        f"train={model.score(X_train, y_train):.3f}, "
        f"test={model.score(X_test, y_test):.3f}"
    )

预期结果:

text
输出三个深度配置的训练集和测试集准确率。
不限制深度时训练准确率通常最高,但测试准确率不一定最高。

数值可能随库版本略有差异,判断重点是训练—测试差距和测试表现,而不是追求训练分数最大。

选择复杂度的流程

先固定数据划分和评价指标,再为关键参数设置一个小范围候选值,通过交叉验证比较。若多个配置的验证分数接近,优先选择更浅、叶节点更大的树,因为它通常更稳定、更容易解释。

不要根据测试集反复调深度。测试集只用于最终一次评估;参数选择应在训练集内部使用交叉验证或独立验证集完成。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

控制决策树复杂度

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通