机器学习与深度学习 / 系统课时
理解特征分裂
理解特征分裂
学习目标
- 理解分裂的目标是降低节点不纯度
- 掌握基尼不纯度的基本计算
- 知道模型如何选择特征与阈值
分裂要解决什么
一个节点中若同时包含多个类别,模型需要寻找条件把它们分得更纯。候选条件通常形如 特征 <= 阈值。训练器会枚举可用特征和候选阈值,计算分裂前后的不纯度变化,选择收益最大的方案。
分类树常用基尼不纯度或熵。二者都在类别混合时较高、单一类别时为 0。它们对大多数任务给出的树结构接近,通常先使用默认基尼指标即可。
手工计算基尼不纯度
python
def gini(counts: list[int]) -> float:
total = sum(counts)
probabilities = [count / total for count in counts]
return 1 - sum(p ** 2 for p in probabilities)
parent = gini([4, 4])
left = gini([4, 1])
right = gini([0, 3])
weighted_children = (5 / 8) * left + (3 / 8) * right
gain = parent - weighted_children
print(f"父节点基尼: {parent:.3f}")
print(f"加权子节点基尼: {weighted_children:.3f}")
print(f"不纯度下降: {gain:.3f}")预期输出:
text
父节点基尼: 0.500
加权子节点基尼: 0.200
不纯度下降: 0.300分裂后加权不纯度从 0.5 降到 0.2,说明这个条件有效地把类别分开。
阈值从哪里来
对连续特征,常见候选阈值位于排序后相邻样本值之间。例如取值为 10、20、30 时,可尝试 15 和 25。模型不会随意从无限实数中搜索,而是围绕训练样本中可能改变分组结果的位置计算。
对高基数类别特征,直接编码成整数可能引入虚假的大小关系。应根据算法能力使用独热编码、原生类别特征支持或合理的目标编码,并在交叉验证中防止泄漏。
局部最优与整体结果
标准决策树通常采用贪心策略:每个节点只选择当前收益最大的分裂,不会回头搜索所有可能树结构。因此某次局部最优并不保证整棵树全局最优,但这种方法计算高效,实际效果通常可接受。
当多个特征高度相关时,它们可能提供相近分裂收益,模型只选择其中一个。不要把“未被选中”简单解释为该特征无用,它可能只是被相关特征替代。
按自己的节奏,确认真正理解。