机器学习与深度学习 / 系统课时
层次聚类
层次聚类
K 均值在拟合时选定簇数。凝聚式层次聚类先建立逐次合并的层次,再通过切树取得一组标签。同一批点用不同链接规则,可能得到不同合并高度和分组。
学习目标
- 区分凝聚式和分裂式方法,读懂树状图的合并高度。
- 根据簇间距离规则解释单链接的链式效应。
- 用 SciPy 获取链接矩阵并按距离切树,检查同高度合并与簇标签。
从样本到聚类树
凝聚式方法从单点簇开始,每步按指定规则选出两个簇合并。建立完整树时,一直合并到只剩根簇。分裂式方法从一个大簇出发,再按照其拆分规则递归细分。本课只运行凝聚式方法。

树状图叶子对应原始样本。默认竖向树中,连接线的高度表示合并时的链接距离。叶子的横向位置用于排版,两个叶子排得近不代表原始数据距离小。对单链接,两个样本的合并高度由连接它们的路径决定,可能小于两点的直接距离。平簇编号只是标识,不代表大小或优先级。 SciPy 链接矩阵与树状图说明 SciPy dendrogram
链接规则如何改变树
| 规则 | 比较两个簇时使用的量 | 适用边界 |
|---|---|---|
| 单链接 | 两簇之间最近样本对的距离 | 能把沿曲线连续分布的点连起来,也容易被几个中间点串成大簇 |
| 全链接 | 两簇之间最远样本对的距离 | 合并时限制两组之间最远的点,易受极端点影响 |
| 平均链接 | 所有跨簇样本对的距离均值 | 综合多个距离。两个子簇大小不同时,不能把它们的平均距离简单各取一半来替代 |
| Ward | 每步选使簇内平方误差和增加最少的合并 | SciPy 的 Ward 需要欧氏几何,不能直接与余弦距离组合。输出高度按该方法定义 |
选择距离前确认量纲、缩放与相似性的业务含义。对单链接、全链接和平均链接,SciPy 支持观测矩阵或预计算的压缩距离向量。把方形距离矩阵直接作为二维输入,会被当成样本特征矩阵。并列距离可能改变具体合并次序,尤其不要把编号和并列结果当作稳定业务标签。SciPy 这里演示的完整链接矩阵算法内存消耗随样本数平方增长。 SciPy linkage 方法、输入和复杂度
实跑合并与切树
示例需要 SciPy。链接矩阵每行依次记录合并的两个子簇编号、合并高度和新簇样本数。前四个二维点的近邻对明显,第二组一维点则用来观察链式效应。切树采用距离阈值,样本名只用于显示。
from collections import defaultdict
from scipy.cluster.hierarchy import fcluster, linkage
def cut(tree, names, height):
labels = fcluster(tree, t=height, criterion="distance")
groups = defaultdict(list)
for name, label in zip(names, labels, strict=True):
groups[label].append(name)
return sorted("".join(sorted(members)) for members in groups.values())
points = [[1.0, 1.0], [1.5, 1.5], [5.0, 5.0], [5.5, 5.0]]
names = "ABCD"
tree = linkage(points, method="single", metric="euclidean")
print("single merge heights:", [round(float(row[2]), 3) for row in tree])
print("groups at 1.0:", cut(tree, names, 1.0))
chain = [[0.0], [1.0], [2.0], [3.0]]
for method in ("single", "complete"):
chain_tree = linkage(chain, method=method)
print(f"{method} chain groups:", len(cut(chain_tree, names, 1.1)))single merge heights: [0.5, 0.707, 4.95]
groups at 1.0: ['AB', 'CD']
single chain groups: 1
complete chain groups: 2四点的单链接最终在 B、C 的距离处连接两组。对链形数据,所有相邻点的距离都是 1,因此阈值 1.1 时单链接已经把首尾连接进同一簇,尽管两端直接距离是 3。SciPy 的 criterion="distance" 使用两叶在树中首次进入同一簇的高度。按距离切割时,并列高度可能让簇数一次跨过多个值。maxclust 给的是簇数上限,可能返回更少的簇。 SciPy fcluster 切割规则
本课练习
把四个二维点的单链接改成平均链接,复算两组的最后一个合并高度。再在一维数据上测试阈值 0.99 与 1.00,说明簇数为什么会跨过 2。下一课会讨论特征太多时的线性降维。