机器学习与深度学习 / 系统课时
选择项目问题
选择项目问题
一个可落地的 AI 项目,首先要把真实需求转化为可验证的问题。本课将用“客服工单分类”作为示例,明确目标用户、输入输出、成功标准和限制条件,避免一开始就陷入模型选择和技术堆叠。
学习目标
- 从真实工作流程中识别适合 AI 处理的问题
- 写清用户、输入、输出和成功标准
- 判断问题是否具备数据、价值与风险边界
从需求而不是模型出发
错误的起点是“我要做一个大模型项目”,因为它没有说明谁遇到了什么问题。更有效的表述是:“客服每天需要人工判断工单类别,希望系统给出初步分类,减少重复分拣时间。”
先描述当前流程,再找到耗时、重复或容易出错的环节。AI 适合处理存在一定规律、可以获得样本、结果能够被验证的任务;如果规则已经非常明确,普通程序可能更便宜、更稳定。
写出最小问题定义
一个完整的问题定义至少包含用户、输入、输出、使用位置和成功标准。下面是客服工单分类的最小定义。
| 要素 | 示例 |
|---|---|
| 目标用户 | 一线客服与工单管理员 |
| 当前问题 | 人工阅读并分配类别,速度慢且标准不一致 |
| 输入 | 用户提交的工单标题与正文 |
| 输出 | 账号、退款,或转人工。可附模型分数 |
| 使用方式 | 两类工单先给建议,范围外、关键工单或低分工单转人工 |
| 成功标准 | 独立测试核对各类召回,试点同时检查人工覆盖和分拣时间 |
| 约束 | 不自动关闭工单,不暴露用户隐私,不跨权限读取数据 |
输出必须能够被下游流程使用。“生成一段有帮助的文字”过于模糊,返回受控类别、人工路由和分数更便于评估。若将分数解释为概率,应先在独立验证集检查校准。
设定可衡量的成功标准
模型指标只是成功标准的一部分。除了准确率、召回率或平均误差,还要观察真实业务结果,例如每张工单节省多少处理时间、人工改分类的比例、错误是否集中在高风险类别。
成功标准应包含基线。若当前人工平均每单需要 40 秒,那么项目目标可以写成“在不降低关键类别召回率的前提下,将平均分拣时间降到 20 秒以内”。没有基线,就无法判断模型是否真正带来改善。
还要提前规定不可接受的失败。例如涉及账户安全的工单不能因为自动分类而延迟处理;当置信度过低或输入为空时,系统必须转人工。
把验收标准变成可复算的门槛
下例只演示如何合并两个验收条件。假定两条是同一批工单的人工和辅助流程计时,且关键标签已由审核人员确定。时间要求平均不超过 20 秒,且平均有节省。安全要求每张已知关键工单都进入人工复核。
from statistics import mean
def pilot_gate(cases):
if not cases:
raise ValueError("没有验收记录")
critical = [row for row in cases if row["critical"]]
if not critical:
return False, "缺少关键工单样本"
average = mean(row["with_assistant_seconds"] for row in cases)
savings = mean(row["manual_seconds"] - row["with_assistant_seconds"]
for row in cases)
protected = sum(row["routed_to_review"] for row in critical)
return (
average <= 20 and savings > 0 and protected == len(critical),
(average, savings, protected, len(critical)),
)
cases = [
{"manual_seconds": 40, "with_assistant_seconds": 18,
"critical": True, "routed_to_review": False},
{"manual_seconds": 36, "with_assistant_seconds": 16,
"critical": False, "routed_to_review": False},
]
print(pilot_gate(cases))输出是 False,明细为 (17, 21, 0, 1)。虽然平均每单 17 秒,比原流程节省 21 秒,但漏掉一张关键工单,样例仍未通过。真实试点需要预先定样本量、计时口径、对照方案和关键类别门槛。两条合成记录无法估计线上表现。
判断项目是否值得做
可以用四个问题快速筛选:
- 是否存在清楚、重复且有价值的任务
- 是否能够获得合法、具有代表性的数据
- 是否能定义可靠的验证方式和人工兜底
- 预期收益是否高于数据、开发、部署和维护成本
如果任何一项无法回答,先缩小范围。例如不要一开始做“全自动客服”,可以先做“为账号和退款两类工单推荐分类,其余交人工”。
形成项目问题卡
最终应把问题压缩成一段可执行描述:
为一线客服构建工单分类助手,读取工单标题与正文,输出账号、退款或转人工。系统只提供建议,低分、范围外与关键工单走人工。项目以离线分类指标、人工修改率和平均处理时长共同验收。
这段描述将直接约束后续的数据准备、基线设计、模型训练和部署方式。需求发生变化时,应先更新问题卡,再调整技术方案。