大模型应用开发 / 系统课时

导入权重与适配器

导入权重与适配器

学习目标

完成本课后,你将能够:

  • 区分完整模型权重与 LoRA 适配器
  • 导入 GGUF 或 Safetensors 适配器
  • 确保 FROM 与微调基础模型一致
  • 验证构建结果、质量和许可证

完整权重与适配器

完整模型权重包含运行模型所需的主要参数。LoRA 适配器只保存相对于基础模型的增量,需要与正确的基础模型组合。

如果适配器与基础模型不一致,可能构建成功但输出混乱、重复或质量显著下降。

Safetensors 适配器

目录:

text
adapter-project/
├── Modelfile
└── adapter/
    ├── adapter_config.json
    └── adapter_model.safetensors

Modelfile:

text
FROM <EXACT_BASE_MODEL>
ADAPTER ./adapter

构建:

bash
cd adapter-project
ollama create anystack-adapter:v1 -f Modelfile

预期输出最终包含:

text
success

<EXACT_BASE_MODEL> 必须与微调时使用的基础模型匹配。

GGUF 适配器

Modelfile:

text
FROM <EXACT_BASE_MODEL>
ADAPTER ./adapter.gguf

构建:

bash
ollama create anystack-gguf-adapter:v1 -f Modelfile

预期输出最终包含:

text
success

GGUF 适配器也要求相同基础模型。

适配器兼容检查

构建前记录:

  • 基础模型仓库与版本
  • 基础模型架构
  • 训练时精度与量化方式
  • tokenizer
  • 适配器格式
  • 微调框架版本
  • 训练配置
  • 许可证

官方文档建议优先使用非量化基础上的适配器。不同框架的量化方式可能不兼容。

验证输出

准备三组测试:

  1. 基础能力:通用问答不能明显退化。
  2. 微调目标:适配器任务应有可测提升。
  3. 安全边界:不应产生异常重复、乱码或角色泄露。

同时比较基础模型和适配器模型,避免只看单个成功案例。

故障定位

表现 优先检查
构建提示架构不支持 权重架构与当前 Ollama 支持
找不到文件 相对路径、工作目录、权限
输出乱码或重复 基础模型不匹配、模板错误
微调效果不明显 适配器加载、训练质量、任务测试
内存显著增加 基础模型规模、适配器、上下文
无法分发 基础模型和适配器许可证

权重安全

从外部获取权重时应:

  • 使用可信来源。
  • 记录文件摘要。
  • 扫描压缩包和脚本。
  • 不执行来源不明的安装代码。
  • 检查许可证和使用限制。
  • 在隔离环境中首次验证。
  • 不把客户数据混入公开适配器。

Safetensors 设计上比任意可执行序列化格式更安全,但整个下载项目仍可能包含危险脚本。

版本和回退

自定义模型至少保留:

text
Modelfile
基础模型完整名称
基础模型摘要
适配器文件摘要
构建命令
Ollama 版本
测试结果
许可证

只有这些材料完整,才能在删除或迁移后可靠重建。

本课练习

练习 1:验证基础模型一致性

任务目标:避免适配器错配。输入或初始条件:准备一个适配器及其训练记录。实现要求:核对模型、tokenizer 和架构。验收条件:每项都有来源记录。

练习 2:构建对比测试

任务目标:评估微调收益。输入或初始条件:基础模型与适配器模型均可运行。实现要求:用固定测试集比较。验收条件:报告包含提升和退化项。

练习 3:建立权重档案

任务目标:保证安全和可重建。输入或初始条件:准备本地 GGUF 或适配器。实现要求:记录来源、摘要、许可证和构建命令。验收条件:文件被删除后仍能依据档案恢复。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

导入权重与适配器

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通