大模型应用开发 / 系统课时

按任务类型选择模型

按任务类型选择模型

学习目标

完成本课后,你将能够:

  • 把业务需求拆分为可评测的模型能力
  • 按问答、编程、推理、中文和视觉任务筛选候选模型
  • 同时考虑硬件、上下文、许可证和调用能力
  • 通过小规模测试淘汰不合适模型

先定义任务而不是先看排行榜

模型选择的第一步不是寻找“最强模型”,而是描述任务输入、输出和验收标准。例如“做代码助手”仍然过大,应继续拆分为代码补全、错误解释、单元测试生成、仓库问答或工具调用。可执行的任务描述至少包含:

  • 输入类型:短文本、长文档、代码、图片或结构化数据
  • 输出类型:自然语言、JSON、代码、向量或工具参数
  • 语言要求:中文、英文或多语言
  • 最大输入长度和预期输出长度
  • 响应时间和并发要求
  • 数据是否允许外发
  • 可接受的错误类型

任务与能力映射

任务 重点能力 需要验证
通用问答 指令遵循、知识覆盖、表达 准确性、拒答、中文自然度
编程辅助 代码理解、生成、调试 可编译率、测试通过率、上下文
复杂推理 多步分析、约束保持 正确率、稳定性、思考成本
中文处理 分词、语义、格式 专业术语、长句、标点与结构
视觉理解 图像输入、OCR、描述 图片格式、细节识别、幻觉
RAG 嵌入或基于上下文回答 召回、引用、无资料拒答
Agent 工具调用与多轮状态 参数正确率、循环终止

从硬约束开始过滤

先淘汰不满足硬约束的候选:

  1. 模型能力不包含目标输入类型。
  2. 模型无法在设备可用内存或显存中稳定运行。
  3. 上下文长度不足以容纳目标输入。
  4. 许可证不满足使用或分发要求。
  5. 不支持结构化输出、工具调用或视觉等关键能力。
  6. 生成速度低于业务最低标准。

硬约束之后,再比较回答质量和偏好。

通用问答与中文任务

通用问答需要关注事实准确、指令遵循和表达稳定。中文任务还应检查:

  • 中文专业术语是否准确
  • 简体与繁体要求
  • 中英文混排
  • 表格和 JSON 中的中文字符
  • 长文本总结是否遗漏关键条件
  • 对中文否定句和数量条件的理解

不要只用“你好,请介绍自己”测试中文能力。应使用真实业务问句、长句、术语和边界条件。

编程模型选择

编程任务应按语言和工程上下文评测。测试集可以包含:

  • 解释现有函数
  • 修复一个可复现错误
  • 根据测试补全实现
  • 生成 SQL 并解释索引
  • 跨文件理解接口
  • 输出可执行命令
  • 避免虚构 API

验收指标包括编译通过率、单元测试通过率、是否修改无关代码、是否遵守版本约束。

推理模型选择

思考模型适合多约束分析、数学推演、规划和复杂代码诊断,但通常带来更长延迟和更多输出 Token。简单分类、格式转换和短摘要不一定需要思考模型。评估时应区分:

  • 最终答案是否正确
  • 推理耗时是否可接受
  • 是否能按需隐藏或关闭思考内容
  • 思考内容是否会泄露不应展示的数据
  • 同一问题多次运行是否稳定

视觉模型选择

视觉任务必须用真实图片验证,而不是根据模型介绍判断。测试应覆盖:

  • 图片尺寸和格式
  • 文字密集截图
  • 表格与图表
  • 多图片输入
  • 小目标和遮挡
  • 中文 OCR
  • 无关图片拒答

视觉模型能描述图片不代表具备可靠 OCR 或精确计数能力。

建立候选模型卡

为每个候选记录:

text
模型完整名称:
标签:
参数规模:
量化等级:
能力:
上下文:
许可证:
模型文件大小:
目标设备处理器分布:
首字延迟:
输出速度:
任务正确率:
已知失败类型:

候选模型卡可以防止团队只凭主观印象选型。

本课练习

练习 1:拆分业务任务

任务目标:把模糊需求变为可评测任务。输入或初始条件:选择一个聊天、代码或知识库场景。

实现要求:列出输入、输出、语言、上下文、延迟和错误边界。验收条件:至少形成 5 个可重复测试样例。

练习 2:筛选三个候选模型

任务目标:练习硬约束过滤。输入或初始条件:已知设备内存、显存和业务能力要求。实现要求:从模型库选三个候选并说明保留或淘汰原因。验收条件:结论覆盖能力、资源、上下文和许可证。

练习 3:建立模型评分表

任务目标:形成团队决策依据。输入或初始条件:已有固定测试集。实现要求:设计质量、速度、资源和风险权重

验收条件:评分规则能解释最终选择,不以参数量作为唯一依据。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

按任务类型选择模型

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通