机器学习与深度学习 / 系统课时
无监督学习是什么
无监督学习是什么
监督学习用已定义的目标 拟合输入到结果的关系,例如从房屋特征预测成交价。无监督学习通常用输入数据自身拟合表示或寻找结构,训练时没有针对本任务的外部目标。这里的区别取决于训练是否用到了目标,标签可以由人填写,也可以来自订单、传感器或其他系统。
先明确希望发现什么
| 任务 | 输出 | 核对方式 |
|---|---|---|
| 聚类 | 样本之间的分组关系 | 检查不同初始化或采样下的分组稳定性,以及簇画像能否解释 |
| 降维 | 更低维的坐标或表示 | 按任务检查重构误差、保留方差或下游验证表现 |
| 异常检测 | 异常分数或候选记录 | 按人工复核容量选候选量,抽样估计命中率和漏检 |
例如做客户分群,可以约定统一观察窗口,提取交易频率、客单价和距上次交易的天数。先核对退款、观察时间不足和空值处理,再选择如何缩放特征。不同尺度或权重改变了相似性,分出来的群也可能不同。簇画像应展示样本量、特征分布和同群差异,再判断分群是否可复用。是否应给某个群发券需要另行评估实际效果。
比较分组时忽略编号
对同一批按相同顺序排列的样本,可比较哪些样本成对被分到一起。下面使用四条合成记录演示编号互换和成员变更。真实大样本可用调整兰德指数等基于成对关系的指标。
python
from itertools import combinations
def same_group_pairs(labels):
return {(i, j) for i, j in combinations(range(len(labels)), 2)
if labels[i] == labels[j]}
labels_a = [0, 0, 1, 1]
labels_b = [8, 8, 2, 2]
labels_c = [0, 1, 0, 1]
print(same_group_pairs(labels_a) == same_group_pairs(labels_b))
print(same_group_pairs(labels_a) == same_group_pairs(labels_c))输出是 True、False。第一种比较只改了编号,第二种实际改变了成员。若用不同抽样重新拟合,先确定共同样本及对齐方式,再比较稳定性。
结果如何进入后续工作
聚类、压缩和异常评分回答的问题不同。假如业务要预测明天谁会流失且有成熟的历史标签,监督分类可以直接对应目标。即使先无监督地构造特征,下游也要按预测时间划分训练与验证,并在训练集拟合变换。若目标是探索行为群体,则可先选距离、划定观察窗口,再结合内部指标和外部复核解释簇。下一课用 K 均值展示欧氏距离和初始中心如何影响分组。
按自己的节奏,确认真正理解。