大模型应用开发 / 系统课时
查看与停止运行中的模型
查看与停止运行中的模型
学习目标
完成本课后,你将能够:
- 使用
ollama ps查看已加载模型- 理解处理器分布、上下文和卸载时间
- 使用
ollama stop主动释放资源- 区分本地已下载模型与内存中运行模型
什么是运行中的模型
模型保存在磁盘后,不会持续占用全部运行内存。收到请求时,Ollama 才会把模型权重和运行缓存加载到系统内存或显存。请求完成后,模型通常会驻留一段时间,以降低下一次调用的加载延迟。
查看运行状态
先启动模型:
bash
ollama run gemma3:1b "回答一个词:ready"预期输出:
text
<MODEL_RESPONSE>再执行:
bash
ollama ps预期输出示例:
text
NAME ID SIZE PROCESSOR CONTEXT UNTIL
gemma3:1b <MODEL_ID> <SIZE> <PROCESSOR> <CONTEXT> <UNTIL>读取关键列
| 列 | 含义 | 判断方式 |
|---|---|---|
NAME |
已加载模型名称 | 与请求模型一致 |
SIZE |
当前加载规模的展示值 | 不直接等于磁盘文件大小 |
PROCESSOR |
CPU 与 GPU 分布 | 100% GPU、100% CPU 或混合 |
CONTEXT |
当前分配的上下文长度 | 越大通常占用更多缓存 |
UNTIL |
预计保留到何时 | 到期且无新请求后可卸载 |
多 GPU 或不同后端环境的展示可能不同,应以实际输出为准。
通过 API 查看运行模型
执行:
bash
curl --fail --silent --show-error http://localhost:11434/api/ps预期响应结构:
json
{
"models": [
{
"name": "gemma3:1b",
"size": 0,
"size_vram": 0,
"expires_at": "<TIMESTAMP>",
"context_length": 0,
"details": {
"format": "gguf",
"parameter_size": "<PARAMETER_SIZE>",
"quantization_level": "<QUANTIZATION>"
}
}
]
}示例中的数值 0 是结构占位,真实响应会返回实际字节数和上下文长度。
主动停止模型
执行:
bash
ollama stop gemma3:1b预期结果:
text
命令正常结束。再次检查:
bash
ollama ps预期输出:
text
列表中不再包含 gemma3:1b。停止只会卸载运行中的模型,不会删除磁盘上的模型。ollama list 仍应保留该名称。
为什么停止后资源没有立即下降
可能原因包括:
- 操作系统和 GPU 驱动保留缓存。
- 还有其他模型或请求正在运行。
- 上层应用立即重新发起请求。
- 监控工具采样存在延迟。
- 看到的是共享内存、统一内存或驱动保留值。
应同时检查 ollama ps、系统进程、GPU 工具和服务日志,不要只看单个图表。
何时应该主动停止
适合主动停止的情况:
- 即将加载更大的模型。
- 显存需要让给训练、渲染或其他服务。
- 基准测试要求每次从冷启动开始。
- 模型长时间不再使用。
- 需要修改全局运行配置并重启服务。
高频请求场景不应在每次响应后机械停止,否则会反复支付加载成本。
本课练习
练习 1:观察冷启动与热启动
任务目标:理解驻留的性能价值。输入或初始条件:同一模型可正常运行。实现要求:先停止模型,再连续请求两次并记录耗时。验收条件:能解释加载耗时与生成耗时。
练习 2:核对 CPU/GPU 分布
任务目标:判断模型实际运行位置。输入或初始条件:设备具备可用 GPU 或 CPU 环境。实现要求:运行模型并保存 ollama ps
验收条件:根据 PROCESSOR 说明当前分布,不凭硬件型号猜测。
练习 3:验证 stop 不删除模型
任务目标:区分卸载和删除。输入或初始条件:本地存在一个已运行模型。
实现要求:执行 stop 后分别运行 ps 和 list。验收条件:运行列表消失,本地模型列表仍存在。
按自己的节奏,确认真正理解。