大模型原理与训练 / 系统课时

项目需求与方案设计

项目需求与方案设计

本课把一个模糊的“做文本生成”想法整理成可执行方案:明确业务结果、输入输出边界、数据范围、模型基线和验收指标,最终形成团队可以评审、开发和测试的项目基线。

学习目标

  • 把业务目标改写为可测量的使用场景和验收条件
  • 明确数据、模型、接口与安全边界
  • 设计离线评估和小流量上线方案

从业务目标定义最小范围

示例项目设定为“为客服生成可编辑的中文回复草稿”。系统只负责根据用户问题和已提供的知识片段生成建议文本,不自动发送,不处理付款、退款审批或身份认证等高风险动作。

最小需求应回答四个问题:谁在什么场景使用、系统接收什么、系统返回什么、失败时如何处理。第一版只覆盖高频咨询,输出必须允许人工修改;当输入缺少依据、包含敏感信息或模型置信度不足时,返回转人工标记,而不是猜测答案。

以下 JSON 可以作为需求评审和后续实现的共同基线:

json
{
  "project": "customer_reply_generation",
  "businessGoal": "为客服生成可编辑的中文客服回复草稿",
  "inScope": [
    "商品信息咨询",
    "物流进度解释",
    "售后流程说明"
  ],
  "outOfScope": [
    "自动发送回复",
    "退款审批",
    "身份认证决策"
  ],
  "input": {
    "questionMaxChars": 2000,
    "knowledgeMaxChars": 6000,
    "language": "zh-CN"
  },
  "output": {
    "replyMaxChars": 500,
    "mustIncludeEvidence": true,
    "fallback": "TRANSFER_TO_HUMAN"
  },
  "data": {
    "source": "脱敏历史会话与审核通过的知识文档",
    "splitKey": "conversation_id",
    "piiPolicy": "remove"
  },
  "model": {
    "baseline": "instruction_model_with_retrieval",
    "fineTuneAfterBaseline": true
  },
  "acceptance": {
    "taskSuccessRateMin": 0.85,
    "unsupportedClaimRateMax": 0.02,
    "unsafeOutputRateMax": 0.005,
    "p95LatencyMsMax": 1500
  }
}

预期结果

text
评审人员能够逐项确认:做什么、不做什么、使用哪些数据、采用什么基线,以及达到哪些指标后才允许上线。

该结构不会自动约束系统,必须在需求评审、数据检查、接口测试和上线门禁中逐项验证。任何字段发生变化,都应同步更新测试用例和验收报告。

设计数据、模型与处理链路

数据集应以真实业务分布为准,并先完成去重、脱敏和质量抽检。训练集、验证集和测试集要按 conversation_id 等业务主键切分,避免同一会话的相似文本泄漏到不同集合,造成评估虚高。

模型方案优先建立可解释的基线:知识检索负责提供事实依据,指令模型负责生成草稿,规则层负责长度、敏感词和格式检查。只有在基线已经测量且主要问题确实来自领域表达时,才考虑微调;不要把数据缺失或知识过期误判为模型能力不足。

文本生成项目设计流程

接口层还应固定请求编号、模型版本、知识版本和生成参数,以便复现问题。线上只记录脱敏后的输入摘要、输出长度、引用编号、耗时和审核结果,不保存无必要的原始敏感内容。

建立评估与上线门禁

文本生成不能只看单一自动指标。离线评估应同时覆盖任务完成、事实依据、安全性和性能,并保留固定测试集,确保不同模型版本可以公平比较。

指标 评估方法 示例门槛
任务成功率 人工判断回复是否解决问题 不低于 85%
无依据陈述率 核对输出是否超出知识片段 不高于 2%
不安全输出率 安全测试集与人工复核 不高于 0.5%
P95 延迟 固定并发压测 不高于 1500 毫秒

所有硬性指标通过后,仍应先进行小流量试运行。试运行阶段保留人工确认,重点观察人工采纳率、编辑距离、转人工比例、投诉和成本;任一安全指标恶化时立即回滚到上一版本。

项目验收不只检查模型分数,还要确认数据来源可追踪、测试集未泄漏、失败路径可用、版本能够回滚、监控能够区分模型版本。满足这些条件,方案才具备进入开发和上线阶段的基础。

本课总结

  • 需求设计的核心是把业务目标转化为明确的范围、输入输出和失败处理
  • 先建立检索与指令模型基线,再根据测量结果决定是否微调
  • 上线门禁必须同时覆盖任务效果、事实性、安全性、性能和回滚能力

下一课预告

下一课将把方案进一步拆成数据准备任务,完成样本收集、脱敏、清洗、切分和质量检查。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

项目需求与方案设计

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通