机器学习与深度学习 / 系统课时
理解决策树结构
理解决策树结构
学习目标
- 认识根节点、内部节点和叶节点
- 理解样本如何沿分裂规则到达预测结果
- 读取一棵小型决策树
树模型如何做决定
决策树把预测过程组织成一系列条件判断。根节点接收全部训练样本并执行第一次分裂;内部节点继续根据某个特征和阈值划分样本;叶节点不再分裂,保存最终预测类别、概率或回归值。
对一个新样本,模型从根节点开始逐层判断。例如先检查“年龄是否小于 30”,再检查“收入是否小于某个阈值”,最终到达某个叶节点。整条路径就是该样本的预测规则,因此决策树比许多复杂模型更容易解释。
训练并打印树结构
python
from sklearn.datasets import load_iris
from sklearn.tree import DecisionTreeClassifier, export_text
iris = load_iris()
X = iris.data[:, :2]
y = iris.target
# 限制深度,便于观察完整路径
model = DecisionTreeClassifier(max_depth=2, random_state=42)
model.fit(X, y)
tree_text = export_text(
model,
feature_names=iris.feature_names[:2],
)
print(tree_text)预期结果:
text
输出一棵最多两层的文本决策树。
每个分支包含特征名称、阈值与预测类别,缩进表示节点层级。具体阈值可能随 scikit-learn 版本存在细微差异,但树深度不会超过 2。
节点中存放的信息
分类树节点通常包含当前样本数、类别分布和不纯度。若一个节点中的样本几乎都属于同一类别,不纯度较低;若多个类别混合,不纯度较高。训练过程会寻找能够最大程度降低不纯度的分裂。
叶节点的预测类别通常是该节点中样本数最多的类别。predict_proba 返回的概率,则来自叶节点中各类别样本占比。若叶节点样本很少,这个概率可能不稳定,因此解释时要同时查看叶节点样本数。
结构带来的优缺点
决策树能处理非线性关系和特征交互,不要求特征标准化,也能同时使用不同量纲的数值特征。缺点是对训练数据变化敏感,稍微改变样本就可能产生不同结构;树过深时还容易记住噪声。
阅读树时不要把每条路径直接当成永久业务规则。它只是当前训练数据、特征和参数下学到的近似边界,数据分布变化后可能需要重新训练。
按自己的节奏,确认真正理解。