机器学习与深度学习 / 系统课时

选择项目问题

选择项目问题

一个可落地的 AI 项目,首先要把真实需求转化为可验证的问题。本课将用“客服工单分类”作为示例,明确目标用户、输入输出、成功标准和限制条件,避免一开始就陷入模型选择和技术堆叠。

学习目标

  • 从真实工作流程中识别适合 AI 处理的问题
  • 写清用户、输入、输出和成功标准
  • 判断问题是否具备数据、价值与风险边界

从需求而不是模型出发

错误的起点是“我要做一个大模型项目”,因为它没有说明谁遇到了什么问题。更有效的表述是:“客服每天需要人工判断工单类别,希望系统给出初步分类,减少重复分拣时间。”

先描述当前流程,再找到耗时、重复或容易出错的环节。AI 适合处理存在一定规律、可以获得样本、结果能够被验证的任务;如果规则已经非常明确,普通程序可能更便宜、更稳定。

写出最小问题定义

一个完整的问题定义至少包含用户、输入、输出、使用位置和成功标准。下面是客服工单分类的最小定义。

要素 示例
目标用户 一线客服与工单管理员
当前问题 人工阅读并分配类别,速度慢且标准不一致
输入 用户提交的工单标题与正文
输出 账号、退款,或转人工。可附模型分数
使用方式 两类工单先给建议,范围外、关键工单或低分工单转人工
成功标准 独立测试核对各类召回,试点同时检查人工覆盖和分拣时间
约束 不自动关闭工单,不暴露用户隐私,不跨权限读取数据

输出必须能够被下游流程使用。“生成一段有帮助的文字”过于模糊,返回受控类别、人工路由和分数更便于评估。若将分数解释为概率,应先在独立验证集检查校准。

设定可衡量的成功标准

模型指标只是成功标准的一部分。除了准确率、召回率或平均误差,还要观察真实业务结果,例如每张工单节省多少处理时间、人工改分类的比例、错误是否集中在高风险类别。

成功标准应包含基线。若当前人工平均每单需要 40 秒,那么项目目标可以写成“在不降低关键类别召回率的前提下,将平均分拣时间降到 20 秒以内”。没有基线,就无法判断模型是否真正带来改善。

还要提前规定不可接受的失败。例如涉及账户安全的工单不能因为自动分类而延迟处理;当置信度过低或输入为空时,系统必须转人工。

把验收标准变成可复算的门槛

下例只演示如何合并两个验收条件。假定两条是同一批工单的人工和辅助流程计时,且关键标签已由审核人员确定。时间要求平均不超过 20 秒,且平均有节省。安全要求每张已知关键工单都进入人工复核。

python
from statistics import mean

def pilot_gate(cases):
    if not cases:
        raise ValueError("没有验收记录")
    critical = [row for row in cases if row["critical"]]
    if not critical:
        return False, "缺少关键工单样本"
    average = mean(row["with_assistant_seconds"] for row in cases)
    savings = mean(row["manual_seconds"] - row["with_assistant_seconds"]
                   for row in cases)
    protected = sum(row["routed_to_review"] for row in critical)
    return (
        average <= 20 and savings > 0 and protected == len(critical),
        (average, savings, protected, len(critical)),
    )

cases = [
    {"manual_seconds": 40, "with_assistant_seconds": 18,
     "critical": True, "routed_to_review": False},
    {"manual_seconds": 36, "with_assistant_seconds": 16,
     "critical": False, "routed_to_review": False},
]
print(pilot_gate(cases))

输出是 False,明细为 (17, 21, 0, 1)。虽然平均每单 17 秒,比原流程节省 21 秒,但漏掉一张关键工单,样例仍未通过。真实试点需要预先定样本量、计时口径、对照方案和关键类别门槛。两条合成记录无法估计线上表现。

判断项目是否值得做

可以用四个问题快速筛选:

  • 是否存在清楚、重复且有价值的任务
  • 是否能够获得合法、具有代表性的数据
  • 是否能定义可靠的验证方式和人工兜底
  • 预期收益是否高于数据、开发、部署和维护成本

如果任何一项无法回答,先缩小范围。例如不要一开始做“全自动客服”,可以先做“为账号和退款两类工单推荐分类,其余交人工”。

形成项目问题卡

最终应把问题压缩成一段可执行描述:

为一线客服构建工单分类助手,读取工单标题与正文,输出账号、退款或转人工。系统只提供建议,低分、范围外与关键工单走人工。项目以离线分类指标、人工修改率和平均处理时长共同验收。

这段描述将直接约束后续的数据准备、基线设计、模型训练和部署方式。需求发生变化时,应先更新问题卡,再调整技术方案。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

选择项目问题

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通