大模型原理与训练 / 系统课时
项目需求与方案设计
项目需求与方案设计
本课把一个模糊的“做文本生成”想法整理成可执行方案:明确业务结果、输入输出边界、数据范围、模型基线和验收指标,最终形成团队可以评审、开发和测试的项目基线。
学习目标
- 把业务目标改写为可测量的使用场景和验收条件
- 明确数据、模型、接口与安全边界
- 设计离线评估和小流量上线方案
从业务目标定义最小范围
示例项目设定为“为客服生成可编辑的中文回复草稿”。系统只负责根据用户问题和已提供的知识片段生成建议文本,不自动发送,不处理付款、退款审批或身份认证等高风险动作。
最小需求应回答四个问题:谁在什么场景使用、系统接收什么、系统返回什么、失败时如何处理。第一版只覆盖高频咨询,输出必须允许人工修改;当输入缺少依据、包含敏感信息或模型置信度不足时,返回转人工标记,而不是猜测答案。
以下 JSON 可以作为需求评审和后续实现的共同基线:
{
"project": "customer_reply_generation",
"businessGoal": "为客服生成可编辑的中文客服回复草稿",
"inScope": [
"商品信息咨询",
"物流进度解释",
"售后流程说明"
],
"outOfScope": [
"自动发送回复",
"退款审批",
"身份认证决策"
],
"input": {
"questionMaxChars": 2000,
"knowledgeMaxChars": 6000,
"language": "zh-CN"
},
"output": {
"replyMaxChars": 500,
"mustIncludeEvidence": true,
"fallback": "TRANSFER_TO_HUMAN"
},
"data": {
"source": "脱敏历史会话与审核通过的知识文档",
"splitKey": "conversation_id",
"piiPolicy": "remove"
},
"model": {
"baseline": "instruction_model_with_retrieval",
"fineTuneAfterBaseline": true
},
"acceptance": {
"taskSuccessRateMin": 0.85,
"unsupportedClaimRateMax": 0.02,
"unsafeOutputRateMax": 0.005,
"p95LatencyMsMax": 1500
}
}预期结果
评审人员能够逐项确认:做什么、不做什么、使用哪些数据、采用什么基线,以及达到哪些指标后才允许上线。该结构不会自动约束系统,必须在需求评审、数据检查、接口测试和上线门禁中逐项验证。任何字段发生变化,都应同步更新测试用例和验收报告。
设计数据、模型与处理链路
数据集应以真实业务分布为准,并先完成去重、脱敏和质量抽检。训练集、验证集和测试集要按 conversation_id 等业务主键切分,避免同一会话的相似文本泄漏到不同集合,造成评估虚高。
模型方案优先建立可解释的基线:知识检索负责提供事实依据,指令模型负责生成草稿,规则层负责长度、敏感词和格式检查。只有在基线已经测量且主要问题确实来自领域表达时,才考虑微调;不要把数据缺失或知识过期误判为模型能力不足。

接口层还应固定请求编号、模型版本、知识版本和生成参数,以便复现问题。线上只记录脱敏后的输入摘要、输出长度、引用编号、耗时和审核结果,不保存无必要的原始敏感内容。
建立评估与上线门禁
文本生成不能只看单一自动指标。离线评估应同时覆盖任务完成、事实依据、安全性和性能,并保留固定测试集,确保不同模型版本可以公平比较。
| 指标 | 评估方法 | 示例门槛 |
|---|---|---|
| 任务成功率 | 人工判断回复是否解决问题 | 不低于 85% |
| 无依据陈述率 | 核对输出是否超出知识片段 | 不高于 2% |
| 不安全输出率 | 安全测试集与人工复核 | 不高于 0.5% |
| P95 延迟 | 固定并发压测 | 不高于 1500 毫秒 |
所有硬性指标通过后,仍应先进行小流量试运行。试运行阶段保留人工确认,重点观察人工采纳率、编辑距离、转人工比例、投诉和成本;任一安全指标恶化时立即回滚到上一版本。
项目验收不只检查模型分数,还要确认数据来源可追踪、测试集未泄漏、失败路径可用、版本能够回滚、监控能够区分模型版本。满足这些条件,方案才具备进入开发和上线阶段的基础。
本课总结
- 需求设计的核心是把业务目标转化为明确的范围、输入输出和失败处理
- 先建立检索与指令模型基线,再根据测量结果决定是否微调
- 上线门禁必须同时覆盖任务效果、事实性、安全性、性能和回滚能力
下一课预告
下一课将把方案进一步拆成数据准备任务,完成样本收集、脱敏、清洗、切分和质量检查。