机器学习与深度学习 / 系统课时
控制决策树复杂度
控制决策树复杂度
学习目标
- 识别决策树过拟合的表现
- 使用预剪枝参数限制树结构
- 通过验证结果选择合理复杂度
过拟合为何常见
如果不限制生长,决策树可以不断分裂,直到叶节点非常纯,甚至每个叶节点只包含少量样本。训练准确率可能接近 100%,但树记住了噪声和偶然模式,测试集表现反而下降。
典型信号是训练分数明显高于验证分数、树深度很大、叶节点数量快速增加,以及很多叶节点只有一两个样本。
常用控制参数
max_depth 限制最大深度,是最直观的复杂度开关;min_samples_split 规定内部节点继续分裂所需的最少样本数;min_samples_leaf 规定叶节点最少样本数,能直接减少过于细碎的规则;max_leaf_nodes 限制叶节点总数。
ccp_alpha 用于代价复杂度剪枝。值越大,模型越倾向删除收益不足的分支。实际项目通常先使用深度和叶节点样本数建立基线,再通过交叉验证选择剪枝强度。
比较不同深度
python
from sklearn.datasets import load_breast_cancer
from sklearn.model_selection import train_test_split
from sklearn.tree import DecisionTreeClassifier
X, y = load_breast_cancer(return_X_y=True)
X_train, X_test, y_train, y_test = train_test_split(
X, y, test_size=0.3, stratify=y, random_state=42
)
for depth in [2, 4, None]:
model = DecisionTreeClassifier(
max_depth=depth,
random_state=42,
)
model.fit(X_train, y_train)
print(
f"depth={depth}, "
f"train={model.score(X_train, y_train):.3f}, "
f"test={model.score(X_test, y_test):.3f}"
)预期结果:
text
输出三个深度配置的训练集和测试集准确率。
不限制深度时训练准确率通常最高,但测试准确率不一定最高。数值可能随库版本略有差异,判断重点是训练—测试差距和测试表现,而不是追求训练分数最大。
选择复杂度的流程
先固定数据划分和评价指标,再为关键参数设置一个小范围候选值,通过交叉验证比较。若多个配置的验证分数接近,优先选择更浅、叶节点更大的树,因为它通常更稳定、更容易解释。
不要根据测试集反复调深度。测试集只用于最终一次评估;参数选择应在训练集内部使用交叉验证或独立验证集完成。
按自己的节奏,确认真正理解。