大模型应用开发 / 系统课时
导入权重与适配器
导入权重与适配器
学习目标
完成本课后,你将能够:
- 区分完整模型权重与 LoRA 适配器
- 导入 GGUF 或 Safetensors 适配器
- 确保
FROM与微调基础模型一致- 验证构建结果、质量和许可证
完整权重与适配器
完整模型权重包含运行模型所需的主要参数。LoRA 适配器只保存相对于基础模型的增量,需要与正确的基础模型组合。
如果适配器与基础模型不一致,可能构建成功但输出混乱、重复或质量显著下降。
Safetensors 适配器
目录:
text
adapter-project/
├── Modelfile
└── adapter/
├── adapter_config.json
└── adapter_model.safetensorsModelfile:
text
FROM <EXACT_BASE_MODEL>
ADAPTER ./adapter构建:
bash
cd adapter-project
ollama create anystack-adapter:v1 -f Modelfile预期输出最终包含:
text
success<EXACT_BASE_MODEL> 必须与微调时使用的基础模型匹配。
GGUF 适配器
Modelfile:
text
FROM <EXACT_BASE_MODEL>
ADAPTER ./adapter.gguf构建:
bash
ollama create anystack-gguf-adapter:v1 -f Modelfile预期输出最终包含:
text
successGGUF 适配器也要求相同基础模型。
适配器兼容检查
构建前记录:
- 基础模型仓库与版本
- 基础模型架构
- 训练时精度与量化方式
- tokenizer
- 适配器格式
- 微调框架版本
- 训练配置
- 许可证
官方文档建议优先使用非量化基础上的适配器。不同框架的量化方式可能不兼容。
验证输出
准备三组测试:
- 基础能力:通用问答不能明显退化。
- 微调目标:适配器任务应有可测提升。
- 安全边界:不应产生异常重复、乱码或角色泄露。
同时比较基础模型和适配器模型,避免只看单个成功案例。
故障定位
| 表现 | 优先检查 |
|---|---|
| 构建提示架构不支持 | 权重架构与当前 Ollama 支持 |
| 找不到文件 | 相对路径、工作目录、权限 |
| 输出乱码或重复 | 基础模型不匹配、模板错误 |
| 微调效果不明显 | 适配器加载、训练质量、任务测试 |
| 内存显著增加 | 基础模型规模、适配器、上下文 |
| 无法分发 | 基础模型和适配器许可证 |
权重安全
从外部获取权重时应:
- 使用可信来源。
- 记录文件摘要。
- 扫描压缩包和脚本。
- 不执行来源不明的安装代码。
- 检查许可证和使用限制。
- 在隔离环境中首次验证。
- 不把客户数据混入公开适配器。
Safetensors 设计上比任意可执行序列化格式更安全,但整个下载项目仍可能包含危险脚本。
版本和回退
自定义模型至少保留:
text
Modelfile
基础模型完整名称
基础模型摘要
适配器文件摘要
构建命令
Ollama 版本
测试结果
许可证只有这些材料完整,才能在删除或迁移后可靠重建。
本课练习
练习 1:验证基础模型一致性
任务目标:避免适配器错配。输入或初始条件:准备一个适配器及其训练记录。实现要求:核对模型、tokenizer 和架构。验收条件:每项都有来源记录。
练习 2:构建对比测试
任务目标:评估微调收益。输入或初始条件:基础模型与适配器模型均可运行。实现要求:用固定测试集比较。验收条件:报告包含提升和退化项。
练习 3:建立权重档案
任务目标:保证安全和可重建。输入或初始条件:准备本地 GGUF 或适配器。实现要求:记录来源、摘要、许可证和构建命令。验收条件:文件被删除后仍能依据档案恢复。
按自己的节奏,确认真正理解。