机器学习与深度学习 / 系统课时

无监督学习是什么

无监督学习是什么

监督学习用已定义的目标 yy 拟合输入到结果的关系,例如从房屋特征预测成交价。无监督学习通常用输入数据自身拟合表示或寻找结构,训练时没有针对本任务的外部目标。这里的区别取决于训练是否用到了目标,标签可以由人填写,也可以来自订单、传感器或其他系统。

先明确希望发现什么

任务 输出 核对方式
聚类 样本之间的分组关系 检查不同初始化或采样下的分组稳定性,以及簇画像能否解释
降维 更低维的坐标或表示 按任务检查重构误差、保留方差或下游验证表现
异常检测 异常分数或候选记录 按人工复核容量选候选量,抽样估计命中率和漏检

例如做客户分群,可以约定统一观察窗口,提取交易频率、客单价和距上次交易的天数。先核对退款、观察时间不足和空值处理,再选择如何缩放特征。不同尺度或权重改变了相似性,分出来的群也可能不同。簇画像应展示样本量、特征分布和同群差异,再判断分群是否可复用。是否应给某个群发券需要另行评估实际效果。

比较分组时忽略编号

对同一批按相同顺序排列的样本,可比较哪些样本成对被分到一起。下面使用四条合成记录演示编号互换和成员变更。真实大样本可用调整兰德指数等基于成对关系的指标。

python
from itertools import combinations

def same_group_pairs(labels):
    return {(i, j) for i, j in combinations(range(len(labels)), 2)
            if labels[i] == labels[j]}

labels_a = [0, 0, 1, 1]
labels_b = [8, 8, 2, 2]
labels_c = [0, 1, 0, 1]
print(same_group_pairs(labels_a) == same_group_pairs(labels_b))
print(same_group_pairs(labels_a) == same_group_pairs(labels_c))

输出是 True、False。第一种比较只改了编号,第二种实际改变了成员。若用不同抽样重新拟合,先确定共同样本及对齐方式,再比较稳定性。

结果如何进入后续工作

聚类、压缩和异常评分回答的问题不同。假如业务要预测明天谁会流失且有成熟的历史标签,监督分类可以直接对应目标。即使先无监督地构造特征,下游也要按预测时间划分训练与验证,并在训练集拟合变换。若目标是探索行为群体,则可先选距离、划定观察窗口,再结合内部指标和外部复核解释簇。下一课用 K 均值展示欧氏距离和初始中心如何影响分组。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

无监督学习是什么

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通