机器学习与深度学习 / 系统课时
理解 K-Means 原理
理解 K-Means 原理
学习目标
- 掌握 K-Means 的迭代步骤
- 理解质心和簇内平方和
- 识别初始化与簇形状限制
算法目标
K-Means 预先指定簇数量 K,通过最小化样本到所属质心的平方距离来形成分组。质心是簇内所有样本的均值,不一定对应真实样本。
算法反复执行两步:把每个样本分配给最近质心;根据当前簇成员重新计算质心。直到标签不再变化、质心移动很小或达到最大迭代次数。
运行一个二维示例
python
import numpy as np
from sklearn.cluster import KMeans
X = np.array([
[1.0, 1.0],
[1.2, 0.8],
[0.8, 1.1],
[8.0, 8.0],
[8.2, 7.8],
[7.9, 8.3],
])
model = KMeans(n_clusters=2, random_state=42, n_init=10)
labels = model.fit_predict(X)
print("标签:", labels.tolist())
print("质心:")
print(np.round(model.cluster_centers_, 2))
print("簇内平方和:", round(model.inertia_, 3))预期结果:
text
六个样本被分成两个各含三个样本的簇。
两个质心分别接近 [1.00, 0.97] 和 [8.03, 8.03]。
簇编号可能互换,但分组关系应保持一致。K-Means 的簇编号没有固定语义,因此不要依赖“簇 0 一定是低值用户”。
初始化为何重要
不同初始质心可能让算法收敛到不同局部最优。k-means++ 会优先选择彼此较远的初始点,通常比完全随机初始化稳定。n_init 表示使用多组初始值重复训练,再保留簇内平方和最小的结果。
为了复现实验应设置 random_state,但正式分析还要检查多个随机种子下的簇是否稳定。
适合的簇形状
K-Means 基于到质心的欧氏距离,倾向发现大小和密度相近、近似球形的簇。面对弯月形、长条形、密度差异大或包含大量噪声的数据,它可能给出不自然的切割。
算法还要求数值特征可求均值。类别变量需要合理编码,且简单独热编码后的欧氏距离是否符合业务含义,需要单独判断。
收敛与验收
训练后应检查 n_iter_ 是否达到最大迭代次数、不同随机种子下簇内平方和是否接近,以及各簇样本量是否极端失衡。若质心随初始化大幅变化,说明数据结构不稳定或 K 不合适,不能直接给簇命名。
按自己的节奏,确认真正理解。