大模型应用开发 / 系统课时

分析内存与显存占用

分析内存与显存占用

学习目标

完成本课后,你将能够:

  • 拆分模型权重、KV Cache、运行缓冲和应用进程的资源占用
  • 使用系统工具与 Ollama API记录内存和显存基线
  • 识别上下文、并发和多模型驻留造成的增量占用
  • 根据测量结果定位内存不足或显存溢出的主要来源

运行占用由哪些部分组成

模型文件大小只是资源预算的一部分。一次 Ollama 推理常见占用包括:

  • 模型权重:由参数量和量化等级决定。
  • KV Cache:随上下文长度、并行请求数和缓存精度变化。
  • 运行缓冲区:推理后端执行计算时使用。
  • 模型元数据与词表:加载模型所需。
  • Ollama 服务进程:管理请求、模型和网络。
  • 业务应用:SDK、Web 服务、RAG 索引和会话数据。
  • 操作系统与其他进程:不能被模型占满。

因此,模型文件为 5 GB,不代表准备 5 GB 可用内存就能稳定运行。

建立空闲基线

在加载模型前记录系统基线。Linux:

bash
free -h
ps -eo pid,comm,rss,vsz --sort=-rss | head -n 15

预期输出:

text
显示系统总内存、可用内存,以及内存占用较高的进程。实际数值取决于当前设备。

NVIDIA:

bash
nvidia-smi --query-gpu=name,memory.total,memory.used,memory.free,utilization.gpu   --format=csv,noheader

预期输出示例:

text
<GPU_NAME>, <TOTAL_MIB> MiB, <USED_MIB> MiB, <FREE_MIB> MiB, <UTILIZATION> %

记录基线后再加载模型,二者差值比单独观察一个时刻更有价值。

记录模型加载后的占用

运行一个模型:

bash
ollama run <MODEL> "只回答:已加载。"

预期结果:

text
模型返回“已加载”或语义等价的短回答。

查询 Ollama 运行信息:

bash
curl --fail --silent --show-error http://localhost:11434/api/ps

预期响应结构:

json
{
  "models": [
    {
      "name": "<MODEL>",
      "size": 0,
      "size_vram": 0,
      "context_length": 0,
      "expires_at": "<TIMESTAMP>"
    }
  ]
}

size 表示加载模型的大致内存规模,size_vram 表示显存中的部分。实际返回还可能包含其他字段。

观察进程内存

Linux 可获取 Ollama 进程:

bash
pgrep -a ollama
ps -o pid,rss,vsz,%mem,cmd -C ollama

预期输出示例:

text
<PID> <OLLAMA_COMMAND>
  PID      RSS       VSZ %MEM CMD
<PID> <RSS_KB> <VSZ_KB> <PERCENT> <OLLAMA_COMMAND>

RSS 更接近当前驻留在物理内存中的页面,VSZ 是虚拟地址空间,不能把 VSZ 直接理解为实际占用。Docker 环境:

bash
docker stats --no-stream ollama

预期输出:

text
显示容器 CPU、内存、网络、块设备和进程数量。实际数值取决于当前负载。

上下文为何增加缓存占用

模型生成新 Token 时需要复用历史注意力状态,KV Cache 保存这些中间结果。其占用通常与以下因素正相关:

  • 已配置的上下文容量
  • 实际输入与输出 Token 数
  • 并行请求数量
  • 模型层数和注意力结构
  • KV Cache 数据类型
  • 是否使用支持的缓存优化

增大 num_ctx 后,即使模型权重不变,显存或内存仍可能显著上升。并行数为 4 时,每个请求都需要独立上下文,不能按单请求占用估算整机容量。

用对照实验分离增量来源

设计四组实验,每次只改变一个因素:

组别 模型 上下文 并发 目的
A 固定 较短 1 建立单请求基线
B 固定 较长 1 测量上下文增量
C 固定 较短 多请求 测量并发增量
D 第二个模型 固定 1 测量多模型驻留增量

每组记录:

  • 服务启动前可用内存
  • 模型加载后的内存与显存
  • 请求期间峰值
  • 请求结束后的驻留值
  • 首字延迟和生成速度
  • 是否出现卸载、排队或失败

只有控制变量,才能判断增长来自权重、上下文还是并发。

识别常见资源异常

现象 可能来源 优先检查
模型刚加载就失败 权重无法容纳 模型大小、量化、可用内存和显存
短请求正常,长请求失败 KV Cache 增长 num_ctx、输入长度、输出上限
单请求正常,并发失败 独立上下文和工作区叠加 并行数、队列、显存余量
请求结束后占用不下降 模型仍驻留 keep_alive、ollama ps
第二个模型启动时第一个被卸载 设备无法同时容纳 最大加载模型数和总内存
系统发生交换或卡顿 物理内存不足 available、Swap、其他进程

建立资源安全余量

生产环境不应把空闲显存或内存全部分配给模型。应为以下情况保留余量:

  • 更长的真实输入
  • 输出长度波动
  • 并发峰值
  • 运行时临时缓冲
  • 日志、代理和业务应用
  • 驱动与操作系统
  • 模型切换期间的短时重叠

验收标准不是“压测时刚好不崩溃”,而是在目标负载下仍有稳定余量,且不会频繁交换、卸载或触发 OOM。

本课练习

练习 1:测量单模型增量

任务目标:计算模型加载前后的资源差值。输入或初始条件:准备一个已下载模型,并关闭无关应用。

实现要求:记录加载前后系统内存、显存和 /api/ps。验收条件:能区分权重占用与系统基线。

练习 2:测量上下文增量

任务目标:验证上下文长度对缓存的影响。输入或初始条件:使用同一模型、相同问题和两种 num_ctx。实现要求:比较显存、首字延迟和峰值内存。验收条件:除上下文外不改变其他变量。

练习 3:分析多模型驻留

任务目标:判断设备能否同时加载两个模型。输入或初始条件:准备两个不同模型。

实现要求:依次加载并观察 /api/ps、卸载行为和资源峰值。验收条件:给出可同时驻留或必须切换的结论。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

分析内存与显存占用

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通