大模型应用开发 / 系统课时
控制模型驻留时间
控制模型驻留时间
学习目标
完成本课后,你将能够:
- 理解模型驻留与模型加载延迟的关系
- 使用
keep_alive预加载、延长驻留或立即卸载- 配置全局
OLLAMA_KEEP_ALIVE- 根据调用频率和资源竞争设计驻留策略
为什么模型会驻留
模型加载可能需要数秒甚至更长。Ollama 默认会在请求结束后继续保留模型一段时间,以便后续请求复用已经加载的权重和缓存。官方文档给出的默认驻留时间通常为 5 分钟。驻留提高热请求速度,但持续占用系统内存或显存。
keep_alive 支持的值
请求级 keep_alive 可用于 /api/generate 和 /api/chat:
- 时长字符串:
"10m"、"24h" - 秒数:
3600 - 负数:持续保持加载
0:请求完成后立即卸载
请求参数会覆盖全局 OLLAMA_KEEP_ALIVE。
预加载并保持模型
执行:
bash
curl --fail --silent --show-error http://localhost:11434/api/generate -H "Content-Type: application/json" -d '{
"model": "gemma3:1b",
"keep_alive": -1,
"stream": false
}'预期响应结构:
json
{
"model": "gemma3:1b",
"response": "",
"done": true,
"load_duration": 0
}load_duration 为动态值。空提示请求用于预加载,完成后执行 ollama ps 应能看到模型。
设置有限驻留
执行:
bash
curl --fail --silent --show-error http://localhost:11434/api/generate -H "Content-Type: application/json" -d '{
"model": "gemma3:1b",
"prompt": "只回答:ok",
"keep_alive": "10m",
"stream": false
}'预期结果:
text
响应 done 为 true,ollama ps 的 UNTIL 或 expires_at 反映新的驻留时间。立即卸载
执行:
bash
curl --fail --silent --show-error http://localhost:11434/api/generate -H "Content-Type: application/json" -d '{
"model": "gemma3:1b",
"keep_alive": 0,
"stream": false
}'预期结果:
text
请求完成后,gemma3:1b 不再出现在 ollama ps 中。也可以执行:
bash
ollama stop gemma3:1b预期结果:
text
模型被主动卸载。配置全局默认值
临时启动:
bash
OLLAMA_KEEP_ALIVE=30m ollama serve预期输出:
text
<SERVICE_START_LOGS>桌面应用或 systemd 环境应使用对应平台的环境变量配置方法,并重启服务。请求中的 keep_alive 仍可覆盖全局值。
驻留策略设计
| 场景 | 建议 |
|---|---|
| 单模型高频聊天 | 延长驻留,减少重复加载 |
| 多模型共享小显存 | 缩短驻留,避免模型互相挤占 |
| 夜间批处理 | 任务开始前预加载,结束后卸载 |
| 低频个人使用 | 保持默认或较短驻留 |
| 延迟敏感 API | 预热并监控模型是否仍在内存 |
| 容量测试 | 明确冷启动与热启动两种测试 |
不要把所有模型都设置为永久驻留。能否同时加载取决于可用内存和显存。
验证冷启动与热启动
使用 API 响应中的:
load_durationtotal_durationprompt_eval_durationeval_duration
比较首次请求与模型驻留后的请求。load_duration 显著下降通常说明热启动生效。
本课练习
练习 1:测试三种驻留值
任务目标:观察 -1、10m 和 0 的行为。输入或初始条件:同一模型可正常调用。实现要求:依次请求并检查 ollama ps。验收条件:能解释每个值的生命周期效果。
练习 2:设计双模型策略
任务目标:避免显存竞争。输入或初始条件:两种模型不能同时完全放入 GPU。实现要求:为高频模型和低频模型设置不同驻留。验收条件:策略包含加载延迟和资源风险。
练习 3:记录冷暖性能
任务目标:量化驻留收益。输入或初始条件:准备固定提示词。实现要求:停止模型后请求一次,再热请求三次
验收条件:分别记录 load_duration 和生成速度。
按自己的节奏,确认真正理解。