大模型原理与训练 / 系统课时

选择基座模型与许可边界

选择基座模型与许可边界

基座模型选错,问题往往要到训练完成甚至准备交付时才暴露:语言能力不匹配、上下文不够、聊天模板错误,或者许可证根本不允许预期的使用和发布方式。本节建立一套先筛技术条件、再核许可边界的选择流程。

学习目标

  • 根据任务语言、上下文、模型规模和训练资源筛选基座模型
  • 检查 tokenizer、聊天模板和 LoRA 目标层等训练兼容性
  • 区分权重使用、衍生模型发布和配套资源各自的许可要求

先用任务约束砍掉大部分候选

选择基座模型时,不要先问“哪个模型排行榜最高”,而要先写出不能妥协的任务条件。候选模型只有同时满足这些条件,后续微调才值得投入资源。

筛选维度 需要确认的问题 典型淘汰原因
任务与语言 目标语言、领域和输出形式是否属于模型能力范围 目标语言能力明显不足
上下文长度 训练样本和线上请求实际需要多少 Token 所需上下文超过可用范围
模型规模 权重、激活值和训练状态能否放进现有资源 即使 QLoRA 也无法稳定运行
输入格式 tokenizer、特殊 Token、聊天模板是否与数据格式匹配 模板与模型训练格式不一致
交付方式 最终是内部推理、发布 Adapter,还是发布合并权重 许可证不允许预期用途

模型声明的最大上下文长度也不等于训练时就应该使用同样长度。真正的训练长度应由样本分布、显存预算和线上需求共同决定,否则可能为极少数长样本付出大量显存与计算成本。

别把能加载当成能训练

通过规模筛选后,还要确认训练栈是否真正理解这个模型。首先检查当前框架是否支持对应架构和数据类型;随后确认 tokenizer 的特殊 Token 与模型配置一致,避免结束符、填充符或角色边界被错误处理。

对于聊天模型,聊天模板尤其重要。同一组 user、assistant 消息经过不同模板后,会形成不同的特殊 Token 和提示结构。微调时如果使用了与基座训练不一致的模板,模型可能学到多余标记,甚至在推理时无法正确结束回答。纯 Base 模型则可能根本没有可直接沿用的聊天模板,需要由任务数据格式明确规定输入和目标文本。

LoRA 还多一层结构兼容性:需要确认计划注入适配器的模块名称确实存在,并判断只训练注意力投影层是否足够。不要直接照搬另一种架构的 q_proj、v_proj 等目标模块名称;模块命名和组织方式取决于具体模型实现。

基座模型从任务约束到许可交付的筛选流程

把许可证拆成三个边界

许可证检查不能只看模型页面上的一个标签。真正需要确认的是具体模型版本随附的许可文本、NOTICE、使用政策以及它们对当前交付方式的约束。不同版本甚至不同发布仓库可能存在差异,因此记录精确来源和版本比只记模型名称更可靠。

第一层是权重能否按预期使用。需要确认训练、推理、研究、商业服务等计划用途是否被允许,以及是否存在特定用途限制。能够下载权重不代表自动获得任意商业使用或再分发权利。

第二层是衍生成果如何发布。需要查看是否要求保留版权声明、附带许可证或 NOTICE、注明修改、遵守命名规则,或者对再分发方式存在额外条件。发布合并后的模型会包含基座权重,因此尤其要确认基座模型的再分发条款。

第三层是周边资产是否另有许可。训练代码、tokenizer 文件、数据集和评测集可能分别采用不同许可。一个基座模型允许商用,并不能自动推导出训练数据或其他配套资源同样允许商用和再发布。

给每个候选保留决策证据

实际项目中,最容易丢失的不是模型名称,而是“当时为什么认为它可以用”。因此在确定基座前,至少保留下面这些信息:

  • 精确的模型标识与版本或 revision,而不是只记录系列名称
  • 权重来源以及对应的许可证、NOTICE 和使用政策位置
  • 计划采用的 tokenizer、聊天模板与特殊 Token 约定
  • 训练精度、量化方式、预计上下文长度和最低硬件需求
  • LoRA 目标模块以及是否计划发布 Adapter、合并权重或仅内部部署
  • 许可要求中的署名、通知、使用范围和再分发条件,以及核对日期

这份记录的价值在于让技术决策与交付约束绑定在一起。当模型版本升级、仓库条款变化或交付方式从内部使用变成公开发布时,可以立即看出哪些条件必须重新核对,而不用从训练日志中反推当初的选择。

发布 Adapter 也要重新检查边界

LoRA 只保存少量增量参数,因此文件体积远小于完整模型,但不能据此假设 Adapter 天然不受基座条款影响。Adapter 是否可以独立发布、需要附带哪些声明,以及接收者能否与原始基座组合使用,都应依据具体许可证和发布条款判断。

如果最终决定合并 LoRA 与基座权重再发布,交付物已经包含基座参数,更不能跳过再分发条件。若只是内部部署,也应确认当前用途属于许可范围,而不是把“没有公开下载链接”等同于“没有许可问题”。

因此,可靠的基座选择顺序应当是:先用任务和资源约束筛掉技术上不合适的模型,再验证 tokenizer、模板和训练结构,最后用真实的交付方式检查许可证。只有技术条件与许可条件同时通过,模型才算真正进入可训练候选集。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

选择基座模型与许可边界

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通