大模型应用开发 / 系统课时
使用 FROM 指定基础模型
使用 FROM 指定基础模型
学习目标
完成本课后,你将能够:
- 使用
FROM引用本地或远端模型标签- 从本地 GGUF 文件创建模型
- 从受支持的 Safetensors 目录导入权重
- 处理路径、架构和权限兼容问题
FROM 是唯一必填指令
FROM 决定自定义模型的基础内容。支持形式包括:
text
FROM <MODEL_NAME>:<TAG>
FROM ./model.gguf
FROM /absolute/path/to/safetensors-directory引用方式不同,但最终都要通过 ollama create 构建为本地模型名称。
引用现有模型
Modelfile:
text
FROM gemma3:1b
SYSTEM 你是简洁的技术助教。构建:
bash
ollama create anystack-from-model:v1 -f Modelfile预期输出最终包含:
text
success此方式适合在官方或已有本地模型上增加系统消息和参数。
导入 GGUF 文件
目录结构:
text
gguf-model/
├── Modelfile
└── model.ggufModelfile:
text
FROM ./model.gguf构建:
bash
cd gguf-model
ollama create local-gguf:v1 -f Modelfile预期输出结构:
text
gathering model components
copying file sha256:<DIGEST> 100%
...
successGGUF 必须来自 Ollama 支持的模型架构,并且文件完整。
导入 Safetensors 目录
目录示例:
text
safetensors-model/
├── Modelfile
├── config.json
├── tokenizer.json
├── tokenizer_config.json
├── model-00001-of-00002.safetensors
└── model-00002-of-00002.safetensorsModelfile:
text
FROM .构建:
bash
cd safetensors-model
ollama create local-safetensors:v1 -f Modelfile预期结果:
text
受支持架构和完整文件集会被导入,最终输出 success。不同架构需要的 tokenizer 和配置文件不同,不能只复制 .safetensors 分片。
相对路径与绝对路径
相对路径相对于 Modelfile 位置解析,便于项目迁移。绝对路径在单机上明确,但搬到另一台设备后通常失效。构建前检查:
bash
ls -lh ./model.gguf预期输出:
text
<PERMISSIONS> <OWNER> <GROUP> <SIZE> <DATE> ./model.gguf服务或当前用户必须能读取文件和父目录。
架构兼容性
不是所有 Hugging Face 模型都能直接导入。应确认:
- 架构在当前 Ollama 导入支持范围内。
- 权重是完整基础模型或已融合微调模型。
- tokenizer 与配置匹配。
- GGUF 转换工具与模型架构兼容。
- 权重许可证允许本地使用或分发。
- 磁盘和内存足够完成导入。
构建失败时先查看具体架构错误,不要反复更改文件扩展名。
验证来源
构建后执行:
bash
ollama show local-gguf:v1预期结果:
text
返回 format、family、parameter size 和 quantization 等实际元数据。再使用固定提示词运行。能够 show 不代表模板一定正确,生成质量仍需验证。
本课练习
练习 1:引用现有模型
任务目标:掌握最稳定的 FROM 形式。输入或初始条件:本地已有一个基础模型。实现要求:构建带系统消息的新模型。验收条件:来源标签和构建命令已记录。
练习 2:导入一个 GGUF
任务目标:练习相对路径导入。输入或初始条件:准备合法 GGUF 文件。实现要求:创建项目目录并构建。验收条件:模型可 show 和 run。
练习 3:设计迁移方案
任务目标:避免绝对路径失效。输入或初始条件:自定义模型需要在两台机器构建。实现要求:整理相对路径、文件校验和许可证
验收条件:另一台机器无需修改 Modelfile 路径。
按自己的节奏,确认真正理解。