机器学习与深度学习 / 系统课时
评估聚类结果
评估聚类结果
学习目标
- 理解无标签情况下的评估思路
- 使用轮廓系数等内部指标
- 从稳定性与业务价值判断聚类是否可用
为什么没有单一答案
聚类没有标准标签时,不能像分类任务那样直接计算准确率。评估需要回答三个问题:簇在几何结构上是否紧凑且分离;不同采样或随机初始化下是否稳定;分组是否能被业务解释并支持行动。任何单一指标都不能覆盖这三方面。
计算内部指标
python
from sklearn.cluster import KMeans
from sklearn.datasets import make_blobs
from sklearn.metrics import (
calinski_harabasz_score,
davies_bouldin_score,
silhouette_score,
)
X, _ = make_blobs(
n_samples=300,
centers=4,
cluster_std=0.7,
random_state=42,
)
labels = KMeans(
n_clusters=4,
n_init=10,
random_state=42,
).fit_predict(X)
print(f"轮廓系数: {silhouette_score(X, labels):.3f}")
print(f"CH 指数: {calinski_harabasz_score(X, labels):.1f}")
print(f"DB 指数: {davies_bouldin_score(X, labels):.3f}")预期结果:
text
输出三个内部聚类指标。
轮廓系数和 CH 指数通常越高越好,DB 指数通常越低越好。指标只能在相同数据、特征和距离定义下比较,不能跨完全不同任务直接比较数值。
检查稳定性
对 K-Means 可更换随机种子或重采样数据,比较样本共聚关系和簇画像是否保持。若每次训练都产生完全不同的群体,说明数据没有清晰结构、参数不合适或特征噪声太大。
稳定性检查不要直接比较簇编号,因为编号可任意交换。应匹配质心或使用调整兰德指数等对标签置换不敏感的指标。
业务评估
为每个簇统计样本量、核心特征均值或中位数、关键行为比例和时间稳定性。业务人员应能用简洁语言描述群体差异,例如“高频低客单用户”,并提出对应策略。
若簇之间只有很小数值差异、群体极不均衡、无法命名或没有可执行策略,即使内部指标不错,也不适合直接投入业务。
外部标签的使用
若存在部分可信标签,可以用调整兰德指数、归一化互信息等外部指标辅助判断,但不要把这些标签偷偷变成训练目标后仍称为纯无监督聚类。外部指标反映与已知标签的一致性,不代表聚类发现的其他结构没有价值。
按自己的节奏,确认真正理解。