大模型应用开发 / 系统课时
应用开发流程
应用开发流程
大模型应用开发需要把“能跑的演示”推进成“可评测、可上线、可持续改进的产品”。本篇按需求定义、原型验证、数据准备、效果评测、上线运行和持续优化六个阶段,给出每一步的产物与验收门槛。
学习目标
- 理清从需求到上线的六个核心阶段及其先后关系
- 为原型、数据、评测和上线分别定义可验证的交付物
- 用固定评测集和发布门禁建立持续优化闭环
从需求定义开始
先把需求写成可验证的任务,而不是“做一个智能助手”。至少明确用户是谁、输入是什么、期望输出是什么、失败会造成什么影响,以及成功标准如何衡量。没有验收标准,后面的模型调优就只能依赖主观感受。

需求定义阶段的产物应是一份最小需求清单和一组成功指标,例如答案正确率、结构化输出通过率、人工升级率、首字延迟或单任务成本。指标不必很多,但必须能直接判断版本是否更好。
用原型和数据建立可评测基线
原型阶段只实现最短闭环:输入进入应用,模型完成核心任务,结果能够被用户或下游系统消费。此时优先验证任务可行性,不急着一次性补齐复杂权限、全量监控和所有异常分支。
随后准备评测数据。评测集至少应覆盖正常样本、边界样本和典型失败样本,并保存期望结果或人工判定标准。这样后续更换模型、调整提示词或增加检索时,才能在同一把尺子上比较。
把评测变成上线门禁
效果评测应在上线前执行,并把关键指标变成发布门禁。下面这个最小 Python 示例用固定用例计算通过率,并判断当前版本是否达到上线阈值。
cases = [
{"name": "faq-answer", "passed": True},
{"name": "json-format", "passed": True},
{"name": "long-input", "passed": False},
{"name": "tool-call", "passed": True},
{"name": "refusal-boundary", "passed": True},
]
passed = sum(case["passed"] for case in cases)
pass_rate = passed / len(cases)
threshold = 0.80 # 发布前约定的最低通过率
print(f"pass_rate={pass_rate:.2f}")
print("release_gate=PASS" if pass_rate >= threshold else "release_gate=FAIL")预期输出
pass_rate=0.80
release_gate=PASS真实项目还应同时检查延迟、成本、安全性和关键业务错误。门禁的意义不是追求一个总分,而是防止某次“看起来更聪明”的改动破坏原本稳定的能力。
上线后形成优化闭环
上线运行阶段需要记录请求量、失败率、延迟、成本、模型错误类型和人工反馈,并准备限流、降级、回退或人工接管机制。只有能观察问题,团队才知道下一轮应该优化哪里。
持续优化时一次只改变少量变量,例如模型、提示词、检索参数或工具策略,并在固定评测集上重新运行回归测试。通过后再小流量发布,观察线上指标是否一致改善;如果离线指标提升但线上业务指标变差,就应回到需求与评测定义检查目标是否错位。
这套流程的核心不是“六步走完就结束”,而是让每一轮改动都从明确问题出发,经过可重复评测,再进入受控上线,最后用真实运行数据决定下一轮改进。