大模型应用开发 / 系统课时

查看与停止运行中的模型

查看与停止运行中的模型

学习目标

完成本课后,你将能够:

  • 使用 ollama ps 查看已加载模型
  • 理解处理器分布、上下文和卸载时间
  • 使用 ollama stop 主动释放资源
  • 区分本地已下载模型与内存中运行模型

什么是运行中的模型

模型保存在磁盘后,不会持续占用全部运行内存。收到请求时,Ollama 才会把模型权重和运行缓存加载到系统内存或显存。请求完成后,模型通常会驻留一段时间,以降低下一次调用的加载延迟。

查看运行状态

先启动模型:

bash
ollama run gemma3:1b "回答一个词:ready"

预期输出:

text
<MODEL_RESPONSE>

再执行:

bash
ollama ps

预期输出示例:

text
NAME          ID          SIZE      PROCESSOR    CONTEXT    UNTIL
gemma3:1b     <MODEL_ID>  <SIZE>    <PROCESSOR>  <CONTEXT>  <UNTIL>

读取关键列

列 含义 判断方式
NAME 已加载模型名称 与请求模型一致
SIZE 当前加载规模的展示值 不直接等于磁盘文件大小
PROCESSOR CPU 与 GPU 分布 100% GPU、100% CPU 或混合
CONTEXT 当前分配的上下文长度 越大通常占用更多缓存
UNTIL 预计保留到何时 到期且无新请求后可卸载

多 GPU 或不同后端环境的展示可能不同,应以实际输出为准。

通过 API 查看运行模型

执行:

bash
curl --fail --silent --show-error http://localhost:11434/api/ps

预期响应结构:

json
{
  "models": [
    {
      "name": "gemma3:1b",
      "size": 0,
      "size_vram": 0,
      "expires_at": "<TIMESTAMP>",
      "context_length": 0,
      "details": {
        "format": "gguf",
        "parameter_size": "<PARAMETER_SIZE>",
        "quantization_level": "<QUANTIZATION>"
      }
    }
  ]
}

示例中的数值 0 是结构占位,真实响应会返回实际字节数和上下文长度。

主动停止模型

执行:

bash
ollama stop gemma3:1b

预期结果:

text
命令正常结束。

再次检查:

bash
ollama ps

预期输出:

text
列表中不再包含 gemma3:1b。

停止只会卸载运行中的模型,不会删除磁盘上的模型。ollama list 仍应保留该名称。

为什么停止后资源没有立即下降

可能原因包括:

  • 操作系统和 GPU 驱动保留缓存。
  • 还有其他模型或请求正在运行。
  • 上层应用立即重新发起请求。
  • 监控工具采样存在延迟。
  • 看到的是共享内存、统一内存或驱动保留值。

应同时检查 ollama ps、系统进程、GPU 工具和服务日志,不要只看单个图表。

何时应该主动停止

适合主动停止的情况:

  • 即将加载更大的模型。
  • 显存需要让给训练、渲染或其他服务。
  • 基准测试要求每次从冷启动开始。
  • 模型长时间不再使用。
  • 需要修改全局运行配置并重启服务。

高频请求场景不应在每次响应后机械停止,否则会反复支付加载成本。

本课练习

练习 1:观察冷启动与热启动

任务目标:理解驻留的性能价值。输入或初始条件:同一模型可正常运行。实现要求:先停止模型,再连续请求两次并记录耗时。验收条件:能解释加载耗时与生成耗时。

练习 2:核对 CPU/GPU 分布

任务目标:判断模型实际运行位置。输入或初始条件:设备具备可用 GPU 或 CPU 环境。实现要求:运行模型并保存 ollama ps

验收条件:根据 PROCESSOR 说明当前分布,不凭硬件型号猜测。

练习 3:验证 stop 不删除模型

任务目标:区分卸载和删除。输入或初始条件:本地存在一个已运行模型。

实现要求:执行 stop 后分别运行 ps 和 list。验收条件:运行列表消失,本地模型列表仍存在。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

查看与停止运行中的模型

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通