大模型应用开发 / 系统课时
按任务类型选择模型
按任务类型选择模型
学习目标
完成本课后,你将能够:
- 把业务需求拆分为可评测的模型能力
- 按问答、编程、推理、中文和视觉任务筛选候选模型
- 同时考虑硬件、上下文、许可证和调用能力
- 通过小规模测试淘汰不合适模型
先定义任务而不是先看排行榜
模型选择的第一步不是寻找“最强模型”,而是描述任务输入、输出和验收标准。例如“做代码助手”仍然过大,应继续拆分为代码补全、错误解释、单元测试生成、仓库问答或工具调用。可执行的任务描述至少包含:
- 输入类型:短文本、长文档、代码、图片或结构化数据
- 输出类型:自然语言、JSON、代码、向量或工具参数
- 语言要求:中文、英文或多语言
- 最大输入长度和预期输出长度
- 响应时间和并发要求
- 数据是否允许外发
- 可接受的错误类型
任务与能力映射
| 任务 | 重点能力 | 需要验证 |
|---|---|---|
| 通用问答 | 指令遵循、知识覆盖、表达 | 准确性、拒答、中文自然度 |
| 编程辅助 | 代码理解、生成、调试 | 可编译率、测试通过率、上下文 |
| 复杂推理 | 多步分析、约束保持 | 正确率、稳定性、思考成本 |
| 中文处理 | 分词、语义、格式 | 专业术语、长句、标点与结构 |
| 视觉理解 | 图像输入、OCR、描述 | 图片格式、细节识别、幻觉 |
| RAG | 嵌入或基于上下文回答 | 召回、引用、无资料拒答 |
| Agent | 工具调用与多轮状态 | 参数正确率、循环终止 |
从硬约束开始过滤
先淘汰不满足硬约束的候选:
- 模型能力不包含目标输入类型。
- 模型无法在设备可用内存或显存中稳定运行。
- 上下文长度不足以容纳目标输入。
- 许可证不满足使用或分发要求。
- 不支持结构化输出、工具调用或视觉等关键能力。
- 生成速度低于业务最低标准。
硬约束之后,再比较回答质量和偏好。
通用问答与中文任务
通用问答需要关注事实准确、指令遵循和表达稳定。中文任务还应检查:
- 中文专业术语是否准确
- 简体与繁体要求
- 中英文混排
- 表格和 JSON 中的中文字符
- 长文本总结是否遗漏关键条件
- 对中文否定句和数量条件的理解
不要只用“你好,请介绍自己”测试中文能力。应使用真实业务问句、长句、术语和边界条件。
编程模型选择
编程任务应按语言和工程上下文评测。测试集可以包含:
- 解释现有函数
- 修复一个可复现错误
- 根据测试补全实现
- 生成 SQL 并解释索引
- 跨文件理解接口
- 输出可执行命令
- 避免虚构 API
验收指标包括编译通过率、单元测试通过率、是否修改无关代码、是否遵守版本约束。
推理模型选择
思考模型适合多约束分析、数学推演、规划和复杂代码诊断,但通常带来更长延迟和更多输出 Token。简单分类、格式转换和短摘要不一定需要思考模型。评估时应区分:
- 最终答案是否正确
- 推理耗时是否可接受
- 是否能按需隐藏或关闭思考内容
- 思考内容是否会泄露不应展示的数据
- 同一问题多次运行是否稳定
视觉模型选择
视觉任务必须用真实图片验证,而不是根据模型介绍判断。测试应覆盖:
- 图片尺寸和格式
- 文字密集截图
- 表格与图表
- 多图片输入
- 小目标和遮挡
- 中文 OCR
- 无关图片拒答
视觉模型能描述图片不代表具备可靠 OCR 或精确计数能力。
建立候选模型卡
为每个候选记录:
text
模型完整名称:
标签:
参数规模:
量化等级:
能力:
上下文:
许可证:
模型文件大小:
目标设备处理器分布:
首字延迟:
输出速度:
任务正确率:
已知失败类型:候选模型卡可以防止团队只凭主观印象选型。
本课练习
练习 1:拆分业务任务
任务目标:把模糊需求变为可评测任务。输入或初始条件:选择一个聊天、代码或知识库场景。
实现要求:列出输入、输出、语言、上下文、延迟和错误边界。验收条件:至少形成 5 个可重复测试样例。
练习 2:筛选三个候选模型
任务目标:练习硬约束过滤。输入或初始条件:已知设备内存、显存和业务能力要求。实现要求:从模型库选三个候选并说明保留或淘汰原因。验收条件:结论覆盖能力、资源、上下文和许可证。
练习 3:建立模型评分表
任务目标:形成团队决策依据。输入或初始条件:已有固定测试集。实现要求:设计质量、速度、资源和风险权重
验收条件:评分规则能解释最终选择,不以参数量作为唯一依据。
按自己的节奏,确认真正理解。