机器学习与深度学习 / 系统课时

理解层次聚类

理解层次聚类

学习目标

  • 理解凝聚式层次聚类的过程
  • 认识不同链接方式的含义
  • 读取树状图并选择切割层级

从样本到层级结构

凝聚式层次聚类开始时把每个样本视为一个簇,然后反复合并距离最近的两个簇,直到所有样本合为一个大簇。整个合并过程形成树状结构,可以在不同高度切割得到不同簇数。

与 K-Means 不同,层次聚类可以先保留完整层级,再根据树状图和业务需求决定最终分组数量。

链接方式决定簇间距离

单链接使用两个簇中最近样本的距离,容易形成链状簇;完全链接使用最远样本距离,倾向得到紧凑簇;平均链接使用跨簇样本距离平均值;Ward 方法选择使簇内方差增加最小的合并,常用于欧氏距离的数值数据。

不同链接方式可能产生明显不同结果。选择时应结合预期簇形状,并比较稳定性和解释效果。

绘制树状图

python
import matplotlib.pyplot as plt
import numpy as np
from scipy.cluster.hierarchy import dendrogram, linkage

X = np.array([
    [1.0, 1.0],
    [1.2, 0.9],
    [5.0, 5.0],
    [5.2, 5.1],
    [9.0, 1.0],
    [9.1, 1.2],
])

matrix = linkage(X, method="ward")
dendrogram(matrix, labels=["A", "B", "C", "D", "E", "F"])
plt.xlabel("样本")
plt.ylabel("合并距离")
plt.tight_layout()
plt.show()

预期结果:

text
程序弹出树状图。
A 与 B、C 与 D、E 与 F 会在较低高度先分别合并。

横向切割线穿过多少主分支,就得到多少簇。切割高度越低,簇数通常越多。

适用与成本

层次聚类适合样本量中小、需要展示层级关系的任务,例如商品分类体系和文档主题层级。它不依赖随机初始化,结果在固定距离和链接方式下可复现。

传统实现需要保存大量样本间距离,样本规模很大时内存和计算成本较高。此时可以先抽样探索,或使用更适合大规模数据的算法。

结果验收

对树状图的切割方案,应同时检查每个簇的样本量和原始特征画像。某次合并距离突然大幅增加,通常提示此前的几个分支可能是自然簇,但仍需业务验证。样本顺序变化不会改变距离结构,却可能改变图中叶节点的左右排列。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

理解层次聚类

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通