机器学习与深度学习 / 系统课时

理解决策树结构

理解决策树结构

学习目标

  • 认识根节点、内部节点和叶节点
  • 理解样本如何沿分裂规则到达预测结果
  • 读取一棵小型决策树

树模型如何做决定

决策树把预测过程组织成一系列条件判断。根节点接收全部训练样本并执行第一次分裂;内部节点继续根据某个特征和阈值划分样本;叶节点不再分裂,保存最终预测类别、概率或回归值。

对一个新样本,模型从根节点开始逐层判断。例如先检查“年龄是否小于 30”,再检查“收入是否小于某个阈值”,最终到达某个叶节点。整条路径就是该样本的预测规则,因此决策树比许多复杂模型更容易解释。

训练并打印树结构

python
from sklearn.datasets import load_iris
from sklearn.tree import DecisionTreeClassifier, export_text

iris = load_iris()
X = iris.data[:, :2]
y = iris.target

# 限制深度,便于观察完整路径
model = DecisionTreeClassifier(max_depth=2, random_state=42)
model.fit(X, y)

tree_text = export_text(
    model,
    feature_names=iris.feature_names[:2],
)
print(tree_text)

预期结果:

text
输出一棵最多两层的文本决策树。
每个分支包含特征名称、阈值与预测类别,缩进表示节点层级。

具体阈值可能随 scikit-learn 版本存在细微差异,但树深度不会超过 2。

节点中存放的信息

分类树节点通常包含当前样本数、类别分布和不纯度。若一个节点中的样本几乎都属于同一类别,不纯度较低;若多个类别混合,不纯度较高。训练过程会寻找能够最大程度降低不纯度的分裂。

叶节点的预测类别通常是该节点中样本数最多的类别。predict_proba 返回的概率,则来自叶节点中各类别样本占比。若叶节点样本很少,这个概率可能不稳定,因此解释时要同时查看叶节点样本数。

结构带来的优缺点

决策树能处理非线性关系和特征交互,不要求特征标准化,也能同时使用不同量纲的数值特征。缺点是对训练数据变化敏感,稍微改变样本就可能产生不同结构;树过深时还容易记住噪声。

阅读树时不要把每条路径直接当成永久业务规则。它只是当前训练数据、特征和参数下学到的近似边界,数据分布变化后可能需要重新训练。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

理解决策树结构

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通