机器学习与深度学习 / 系统课时
选择聚类数量
选择聚类数量
学习目标
- 理解肘部法的判断逻辑
- 使用轮廓系数比较不同 K
- 结合稳定性和业务可解释性确定簇数
为什么不能只让 K 越大
K 增大时,每个簇包含的样本更少,簇内平方和必然下降。若把每个样本单独作为一个簇,误差可以接近 0,但结果没有概括价值。因此需要在紧凑度和模型复杂度之间取舍。
合理的 K 不一定唯一。不同业务目标可能需要不同粒度,例如营销策略需要 4 个可运营群体,风险监控可能需要更细的 8 个群体。
同时计算两类指标
python
from sklearn.cluster import KMeans
from sklearn.datasets import make_blobs
from sklearn.metrics import silhouette_score
X, _ = make_blobs(
n_samples=300,
centers=4,
cluster_std=0.60,
random_state=42,
)
for k in range(2, 7):
model = KMeans(n_clusters=k, n_init=10, random_state=42)
labels = model.fit_predict(X)
silhouette = silhouette_score(X, labels)
print(
f"K={k}, inertia={model.inertia_:.1f}, "
f"silhouette={silhouette:.3f}"
)预期结果:
text
输出 K=2 到 K=6 的簇内平方和与轮廓系数。
在这组由 4 个中心生成的数据上,K=4 通常具有较高轮廓系数。具体数值可能随库版本略有差异,但簇内平方和应随 K 增大而单调下降。
理解两个指标
肘部法观察簇内平方和下降曲线,从快速下降转为平缓的位置像手肘,可能是合理 K。问题是有些数据没有明显拐点,判断会带主观性。
轮廓系数同时考虑样本与本簇的紧密程度和与最近其他簇的分离程度,范围通常为 -1 到 1。越接近 1 表示分离越清晰;接近 0 表示位于簇边界;负值可能表示被分错。
最终选择标准
建议先用指标缩小候选范围,再检查每个候选 K 的簇规模、画像差异、随机种子稳定性和业务可执行性。若某个簇只包含极少样本,应判断它是真实小群体、异常点,还是算法不稳定造成的碎片。
不要为了追求最高轮廓系数牺牲业务解释。一个 K=2 的结果可能分离最清晰,但无法支持需要四类策略的运营目标。最终方案应记录选择理由,而不是只记录一个数字。
按自己的节奏,确认真正理解。