机器学习与深度学习 / 系统课时

理解 K-Means 原理

理解 K-Means 原理

学习目标

  • 掌握 K-Means 的迭代步骤
  • 理解质心和簇内平方和
  • 识别初始化与簇形状限制

算法目标

K-Means 预先指定簇数量 K,通过最小化样本到所属质心的平方距离来形成分组。质心是簇内所有样本的均值,不一定对应真实样本。

算法反复执行两步:把每个样本分配给最近质心;根据当前簇成员重新计算质心。直到标签不再变化、质心移动很小或达到最大迭代次数。

运行一个二维示例

python
import numpy as np
from sklearn.cluster import KMeans

X = np.array([
    [1.0, 1.0],
    [1.2, 0.8],
    [0.8, 1.1],
    [8.0, 8.0],
    [8.2, 7.8],
    [7.9, 8.3],
])

model = KMeans(n_clusters=2, random_state=42, n_init=10)
labels = model.fit_predict(X)

print("标签:", labels.tolist())
print("质心:")
print(np.round(model.cluster_centers_, 2))
print("簇内平方和:", round(model.inertia_, 3))

预期结果:

text
六个样本被分成两个各含三个样本的簇。
两个质心分别接近 [1.00, 0.97] 和 [8.03, 8.03]。
簇编号可能互换,但分组关系应保持一致。

K-Means 的簇编号没有固定语义,因此不要依赖“簇 0 一定是低值用户”。

初始化为何重要

不同初始质心可能让算法收敛到不同局部最优。k-means++ 会优先选择彼此较远的初始点,通常比完全随机初始化稳定。n_init 表示使用多组初始值重复训练,再保留簇内平方和最小的结果。

为了复现实验应设置 random_state,但正式分析还要检查多个随机种子下的簇是否稳定。

适合的簇形状

K-Means 基于到质心的欧氏距离,倾向发现大小和密度相近、近似球形的簇。面对弯月形、长条形、密度差异大或包含大量噪声的数据,它可能给出不自然的切割。

算法还要求数值特征可求均值。类别变量需要合理编码,且简单独热编码后的欧氏距离是否符合业务含义,需要单独判断。

收敛与验收

训练后应检查 n_iter_ 是否达到最大迭代次数、不同随机种子下簇内平方和是否接近,以及各簇样本量是否极端失衡。若质心随初始化大幅变化,说明数据结构不稳定或 K 不合适,不能直接给簇命名。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

理解 K-Means 原理

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通