机器学习与深度学习 / 系统课时
理解层次聚类
理解层次聚类
学习目标
- 理解凝聚式层次聚类的过程
- 认识不同链接方式的含义
- 读取树状图并选择切割层级
从样本到层级结构
凝聚式层次聚类开始时把每个样本视为一个簇,然后反复合并距离最近的两个簇,直到所有样本合为一个大簇。整个合并过程形成树状结构,可以在不同高度切割得到不同簇数。
与 K-Means 不同,层次聚类可以先保留完整层级,再根据树状图和业务需求决定最终分组数量。
链接方式决定簇间距离
单链接使用两个簇中最近样本的距离,容易形成链状簇;完全链接使用最远样本距离,倾向得到紧凑簇;平均链接使用跨簇样本距离平均值;Ward 方法选择使簇内方差增加最小的合并,常用于欧氏距离的数值数据。
不同链接方式可能产生明显不同结果。选择时应结合预期簇形状,并比较稳定性和解释效果。
绘制树状图
python
import matplotlib.pyplot as plt
import numpy as np
from scipy.cluster.hierarchy import dendrogram, linkage
X = np.array([
[1.0, 1.0],
[1.2, 0.9],
[5.0, 5.0],
[5.2, 5.1],
[9.0, 1.0],
[9.1, 1.2],
])
matrix = linkage(X, method="ward")
dendrogram(matrix, labels=["A", "B", "C", "D", "E", "F"])
plt.xlabel("样本")
plt.ylabel("合并距离")
plt.tight_layout()
plt.show()预期结果:
text
程序弹出树状图。
A 与 B、C 与 D、E 与 F 会在较低高度先分别合并。横向切割线穿过多少主分支,就得到多少簇。切割高度越低,簇数通常越多。
适用与成本
层次聚类适合样本量中小、需要展示层级关系的任务,例如商品分类体系和文档主题层级。它不依赖随机初始化,结果在固定距离和链接方式下可复现。
传统实现需要保存大量样本间距离,样本规模很大时内存和计算成本较高。此时可以先抽样探索,或使用更适合大规模数据的算法。
结果验收
对树状图的切割方案,应同时检查每个簇的样本量和原始特征画像。某次合并距离突然大幅增加,通常提示此前的几个分支可能是自然簇,但仍需业务验证。样本顺序变化不会改变距离结构,却可能改变图中叶节点的左右排列。
按自己的节奏,确认真正理解。