大模型应用开发 / 系统课时

确定助手需求

确定助手需求

本课解决“想做一个 AI 助手,但需求过于宽泛”的问题。你将把模糊想法收敛为可实施的目标用户、知识边界、核心任务、工具能力和验收标准,为后续设计提示词、知识库与工作流提供明确输入。

学习目标

  • 用用户与任务描述助手的真实使用场景
  • 划定知识范围和工具权限,避免能力无限扩张
  • 把“回答得好”转换为可检查的验收标准

从用户和结果开始

需求定义不要从模型、框架或界面开始,而要先回答两个问题:谁会使用助手,以及用户完成一次对话后应得到什么结果。目标用户应具体到角色和工作环境,例如“负责处理退款咨询的一线客服”,而不是泛化为“所有员工”。

核心结果要写成可观察的动作,例如“根据订单状态给出退款处理建议,并生成可发送给客户的回复”。如果一句需求同时包含十多个目标,通常意味着范围过大,应先选择频率最高、价值最明确的一到三个任务。

可以使用下面的需求描述模板,把业务目标压缩成一段可评审文本。

text
目标用户:<具体角色>
使用场景:当用户需要<任务或问题>时
助手职责:依据<知识来源>完成<核心动作>
允许工具:<查询或执行工具>
禁止范围:<不回答或不执行的事项>
成功结果:用户能够<可观察结果>

该模板属于需求定义片段,不可直接运行。填写后应让业务负责人、实际用户和开发人员共同检查:是否知道服务谁、解决什么问题、依赖哪些数据,以及哪些事情明确不做。

划定知识与问题边界

知识范围要说明“允许依据什么回答”,而不只是罗列文档名称。可按业务域、时间范围、地区、产品线和数据权限划分,例如只回答当前有效的退款政策,不解释历史作废规则,也不跨租户读取订单。

同时建立问题清单,将需求分成三类:必须解决、可以解释但不能执行、必须拒绝。以退款助手为例,查询订单和解释规则属于必须解决;修改收款账户可能需要人工确认;绕过审批、查询其他商户数据则必须拒绝。

边界写得越清楚,后续知识库切分、检索过滤和拒答规则越容易落地。无法确定归属的问题应进入人工转接,而不是让模型自由猜测。

定义工具能力与权限

工具能力应从任务倒推。只有读取知识无法完成“查询某笔订单状态”,此时需要订单查询接口;只有生成建议无法完成“提交退款”,则还需要受控的执行接口。

每个工具至少定义用途、输入、输出、权限和失败处理。高风险写操作应默认采用“助手生成方案,用户确认后执行”,并记录操作者、参数、结果和追踪 ID。不要把内部管理接口直接暴露给模型,也不要让模型自行拼接未校验的关键参数。

一个最小工具清单通常包括知识检索、业务查询和人工转接。只有在业务确实需要时,才增加退款、改价或发消息等写操作。

把效果写成验收标准

“回答准确、体验良好”无法直接验收。应把标准拆成可计算指标和关键场景样例。常用指标包括任务成功率、事实准确率、引用命中率、格式合规率、拒答正确率、工具调用成功率、P95 延迟和单次成本。

下面给出一个最小验收配置。它用于说明门槛和样本集,不代表某个固定平台格式。

yaml
acceptance:
  dataset: refund-assistant-v1
  minimumSamples: 100
  thresholds:
    taskSuccessRate: 0.90
    factualAccuracy: 0.95
    refusalAccuracy: 0.98
    toolCallSuccessRate: 0.99
    p95LatencyMs: 5000

该配置生效时,应使用同一测试集运行候选版本,并逐项比较结果。验证报告至少要给出样本数、通过率、失败样例和最终结论;只报告平均得分而不展示失败类型,不能作为上线依据。

形成最小需求卡

需求评审前,将内容收敛成一张最小需求卡:目标用户、前三个核心问题、知识来源、允许工具、禁止事项、转人工条件和验收阈值。任何一项无法填写,都说明需求仍存在关键空白。

以退款助手为例,可将首版范围限定为“查询订单、解释退款规则、生成客服回复”,暂不支持自动退款。这样既能覆盖主要价值,又能降低权限、合规和误操作风险。后续扩展应基于真实失败样例和用户反馈,而不是一次性加入所有能力。

Tips:优秀的需求文档不仅说明助手能做什么,还要明确它何时停止、何时拒绝、何时转交人工。

本课总结

  • 需求应从具体用户、核心任务和可观察结果开始,而不是从模型或技术栈开始
  • 知识边界、工具权限和禁止范围必须在开发前明确
  • 验收标准要包含量化阈值、固定样本集和可复盘的失败样例

下一课预告

下一课将基于需求卡设计助手的整体方案,把知识检索、提示词、工具调用和人工转接组织成可运行的工作流。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

确定助手需求

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通