机器学习与深度学习 / 系统课时
问题类型与任务定义
问题类型与任务定义
机器学习项目最先要解决的不是“选哪个模型”,而是把业务问题改写成可学习、可验证的任务。任务类型一旦定义错误,后面的数据、指标和模型都会偏离目标。本节用分类、回归、聚类和降维四类问题建立一套判断方法。
学习目标
- 根据目标输出与监督信号区分分类、回归、聚类和降维
- 把模糊的业务诉求改写成明确的输入、输出与评价目标
- 识别几类常见的任务定义混淆
先从“要得到什么输出”开始
判断任务类型时,先看模型最终需要产出什么,再看训练数据是否提供了正确答案。输入通常记为特征 ;监督学习使用明确目标 ,可来自人工、业务结果或规则。缺少人工标签也可能用自监督、半监督等训练方式,本课表格只对照四种常见任务。
分类与回归都需要目标标签。分类预测有限或可枚举的类别,例如“垃圾邮件/正常邮件”;回归预测数值,例如未来一小时的用电量。未来订单数虽然是非负整数,也可以是数值预测,必要时选适合计数分布的模型。聚类没有预先给定类别,而是让算法按相似性寻找样本群组。降维则把高维表示映射到较少的维度,同时尽量保留重要结构。
四类问题怎么区分
| 任务类型 | 典型输出 | 是否依赖人工或历史标签 | 常见用途 |
|---|---|---|---|
| 分类 | 类别或类别概率 | 是 | 欺诈识别、故障类型判断 |
| 回归 | 数值估计 | 是 | 价格、时长、需求量预测 |
| 聚类 | 样本所属群组 | 否 | 客群探索、文档分组 |
| 降维 | 更低维的表示 | 视方法而定 | 可视化、压缩、去冗余 |
输出形式比算法名称更重要。 同一种算法思想可能服务于不同目标,任务类型应由“预测对象和成功标准”决定,而不是由计划使用的模型决定。
把业务描述改写成学习任务
例如“希望降低用户流失”还不是机器学习任务。需要继续明确:以“用户+预测时点”为一个样本,使用此前 14 天且当时可用的行为。把之后 30 天的取消订阅定义为正例,标签窗口尚未结束的样本暂不标负例。这样它才成为一个二分类任务。
可以按下面的顺序完成任务定义:
- 明确样本单位,例如用户、订单、设备或图片。
- 明确可在预测时获得的输入特征,避免使用未来信息。
- 明确输出:类别、连续值、群组,还是低维表示。
- 明确正确答案从哪里来;如果没有标签,是否真的适合聚类或降维。
- 明确评价指标,并让指标对应真实目标。
分类常见指标有准确率、精确率、召回率和 F1;回归常见 MAE、RMSE。聚类与降维没有统一的“正确答案”,通常要结合轮廓系数、重构误差、邻域保持程度或下游任务效果判断是否有用。
容易混淆的边界
分类模型输出“属于某类的概率”时,本质仍是分类,因为最终目标是离散类别。聚类与分类的关键差别不是输出都能叫“组”,而是训练前是否存在已知标签:如果目标是预测已有类别就用分类;如果同一批数据另有发现行为群体的目标,仍可用聚类。标签存在与否要结合本次任务如何使用它。
降维也不等于简单删除字段。特征选择是在原特征中保留一部分;降维通常会构造新的低维表示,例如把 100 个相关数值压缩为 10 个综合维度。
定义完成的验收标准
一个可执行的任务定义至少能回答五个问题:谁是一个样本、预测时能看到什么、要输出什么、正确答案来自哪里、如何判断效果变好。如果其中任何一项仍然含糊,就不应急着训练模型。
最终应得到一句足够具体的任务描述,例如:“使用用户过去 14 天的行为特征,预测其未来 30 天是否流失,以召回率和精确率共同评估。”评估时同时记录精确率、召回率、正例占比和每天可复核的告警量。若随后要给用户优惠,这属于动作决策,需要额外核对成本与实际效果,不能由风险分数直接推出。下一课把时间边界写成数据收集和标注规则。