大模型应用开发 / 系统课时

控制模型驻留时间

控制模型驻留时间

学习目标

完成本课后,你将能够:

  • 理解模型驻留与模型加载延迟的关系
  • 使用 keep_alive 预加载、延长驻留或立即卸载
  • 配置全局 OLLAMA_KEEP_ALIVE
  • 根据调用频率和资源竞争设计驻留策略

为什么模型会驻留

模型加载可能需要数秒甚至更长。Ollama 默认会在请求结束后继续保留模型一段时间,以便后续请求复用已经加载的权重和缓存。官方文档给出的默认驻留时间通常为 5 分钟。驻留提高热请求速度,但持续占用系统内存或显存。

keep_alive 支持的值

请求级 keep_alive 可用于 /api/generate 和 /api/chat:

  • 时长字符串:"10m"、"24h"
  • 秒数:3600
  • 负数:持续保持加载
  • 0:请求完成后立即卸载

请求参数会覆盖全局 OLLAMA_KEEP_ALIVE。

预加载并保持模型

执行:

bash
curl --fail --silent --show-error http://localhost:11434/api/generate   -H "Content-Type: application/json"   -d '{
    "model": "gemma3:1b",
    "keep_alive": -1,
    "stream": false
  }'

预期响应结构:

json
{
  "model": "gemma3:1b",
  "response": "",
  "done": true,
  "load_duration": 0
}

load_duration 为动态值。空提示请求用于预加载,完成后执行 ollama ps 应能看到模型。

设置有限驻留

执行:

bash
curl --fail --silent --show-error http://localhost:11434/api/generate   -H "Content-Type: application/json"   -d '{
    "model": "gemma3:1b",
    "prompt": "只回答:ok",
    "keep_alive": "10m",
    "stream": false
  }'

预期结果:

text
响应 done 为 true,ollama ps 的 UNTIL 或 expires_at 反映新的驻留时间。

立即卸载

执行:

bash
curl --fail --silent --show-error http://localhost:11434/api/generate   -H "Content-Type: application/json"   -d '{
    "model": "gemma3:1b",
    "keep_alive": 0,
    "stream": false
  }'

预期结果:

text
请求完成后,gemma3:1b 不再出现在 ollama ps 中。

也可以执行:

bash
ollama stop gemma3:1b

预期结果:

text
模型被主动卸载。

配置全局默认值

临时启动:

bash
OLLAMA_KEEP_ALIVE=30m ollama serve

预期输出:

text
<SERVICE_START_LOGS>

桌面应用或 systemd 环境应使用对应平台的环境变量配置方法,并重启服务。请求中的 keep_alive 仍可覆盖全局值。

驻留策略设计

场景 建议
单模型高频聊天 延长驻留,减少重复加载
多模型共享小显存 缩短驻留,避免模型互相挤占
夜间批处理 任务开始前预加载,结束后卸载
低频个人使用 保持默认或较短驻留
延迟敏感 API 预热并监控模型是否仍在内存
容量测试 明确冷启动与热启动两种测试

不要把所有模型都设置为永久驻留。能否同时加载取决于可用内存和显存。

验证冷启动与热启动

使用 API 响应中的:

  • load_duration
  • total_duration
  • prompt_eval_duration
  • eval_duration

比较首次请求与模型驻留后的请求。load_duration 显著下降通常说明热启动生效。

本课练习

练习 1:测试三种驻留值

任务目标:观察 -1、10m 和 0 的行为。输入或初始条件:同一模型可正常调用。实现要求:依次请求并检查 ollama ps。验收条件:能解释每个值的生命周期效果。

练习 2:设计双模型策略

任务目标:避免显存竞争。输入或初始条件:两种模型不能同时完全放入 GPU。实现要求:为高频模型和低频模型设置不同驻留。验收条件:策略包含加载延迟和资源风险。

练习 3:记录冷暖性能

任务目标:量化驻留收益。输入或初始条件:准备固定提示词。实现要求:停止模型后请求一次,再热请求三次

验收条件:分别记录 load_duration 和生成速度。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

控制模型驻留时间

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通