大模型应用开发 / 系统课时
分析内存与显存占用
分析内存与显存占用
学习目标
完成本课后,你将能够:
- 拆分模型权重、KV Cache、运行缓冲和应用进程的资源占用
- 使用系统工具与 Ollama API记录内存和显存基线
- 识别上下文、并发和多模型驻留造成的增量占用
- 根据测量结果定位内存不足或显存溢出的主要来源
运行占用由哪些部分组成
模型文件大小只是资源预算的一部分。一次 Ollama 推理常见占用包括:
- 模型权重:由参数量和量化等级决定。
- KV Cache:随上下文长度、并行请求数和缓存精度变化。
- 运行缓冲区:推理后端执行计算时使用。
- 模型元数据与词表:加载模型所需。
- Ollama 服务进程:管理请求、模型和网络。
- 业务应用:SDK、Web 服务、RAG 索引和会话数据。
- 操作系统与其他进程:不能被模型占满。
因此,模型文件为 5 GB,不代表准备 5 GB 可用内存就能稳定运行。
建立空闲基线
在加载模型前记录系统基线。Linux:
free -h
ps -eo pid,comm,rss,vsz --sort=-rss | head -n 15预期输出:
显示系统总内存、可用内存,以及内存占用较高的进程。实际数值取决于当前设备。NVIDIA:
nvidia-smi --query-gpu=name,memory.total,memory.used,memory.free,utilization.gpu --format=csv,noheader预期输出示例:
<GPU_NAME>, <TOTAL_MIB> MiB, <USED_MIB> MiB, <FREE_MIB> MiB, <UTILIZATION> %记录基线后再加载模型,二者差值比单独观察一个时刻更有价值。
记录模型加载后的占用
运行一个模型:
ollama run <MODEL> "只回答:已加载。"预期结果:
模型返回“已加载”或语义等价的短回答。查询 Ollama 运行信息:
curl --fail --silent --show-error http://localhost:11434/api/ps预期响应结构:
{
"models": [
{
"name": "<MODEL>",
"size": 0,
"size_vram": 0,
"context_length": 0,
"expires_at": "<TIMESTAMP>"
}
]
}size 表示加载模型的大致内存规模,size_vram 表示显存中的部分。实际返回还可能包含其他字段。
观察进程内存
Linux 可获取 Ollama 进程:
pgrep -a ollama
ps -o pid,rss,vsz,%mem,cmd -C ollama预期输出示例:
<PID> <OLLAMA_COMMAND>
PID RSS VSZ %MEM CMD
<PID> <RSS_KB> <VSZ_KB> <PERCENT> <OLLAMA_COMMAND>RSS 更接近当前驻留在物理内存中的页面,VSZ 是虚拟地址空间,不能把 VSZ 直接理解为实际占用。Docker 环境:
docker stats --no-stream ollama预期输出:
显示容器 CPU、内存、网络、块设备和进程数量。实际数值取决于当前负载。上下文为何增加缓存占用
模型生成新 Token 时需要复用历史注意力状态,KV Cache 保存这些中间结果。其占用通常与以下因素正相关:
- 已配置的上下文容量
- 实际输入与输出 Token 数
- 并行请求数量
- 模型层数和注意力结构
- KV Cache 数据类型
- 是否使用支持的缓存优化
增大 num_ctx 后,即使模型权重不变,显存或内存仍可能显著上升。并行数为 4 时,每个请求都需要独立上下文,不能按单请求占用估算整机容量。
用对照实验分离增量来源
设计四组实验,每次只改变一个因素:
| 组别 | 模型 | 上下文 | 并发 | 目的 |
|---|---|---|---|---|
| A | 固定 | 较短 | 1 | 建立单请求基线 |
| B | 固定 | 较长 | 1 | 测量上下文增量 |
| C | 固定 | 较短 | 多请求 | 测量并发增量 |
| D | 第二个模型 | 固定 | 1 | 测量多模型驻留增量 |
每组记录:
- 服务启动前可用内存
- 模型加载后的内存与显存
- 请求期间峰值
- 请求结束后的驻留值
- 首字延迟和生成速度
- 是否出现卸载、排队或失败
只有控制变量,才能判断增长来自权重、上下文还是并发。
识别常见资源异常
| 现象 | 可能来源 | 优先检查 |
|---|---|---|
| 模型刚加载就失败 | 权重无法容纳 | 模型大小、量化、可用内存和显存 |
| 短请求正常,长请求失败 | KV Cache 增长 | num_ctx、输入长度、输出上限 |
| 单请求正常,并发失败 | 独立上下文和工作区叠加 | 并行数、队列、显存余量 |
| 请求结束后占用不下降 | 模型仍驻留 | keep_alive、ollama ps |
| 第二个模型启动时第一个被卸载 | 设备无法同时容纳 | 最大加载模型数和总内存 |
| 系统发生交换或卡顿 | 物理内存不足 | available、Swap、其他进程 |
建立资源安全余量
生产环境不应把空闲显存或内存全部分配给模型。应为以下情况保留余量:
- 更长的真实输入
- 输出长度波动
- 并发峰值
- 运行时临时缓冲
- 日志、代理和业务应用
- 驱动与操作系统
- 模型切换期间的短时重叠
验收标准不是“压测时刚好不崩溃”,而是在目标负载下仍有稳定余量,且不会频繁交换、卸载或触发 OOM。
本课练习
练习 1:测量单模型增量
任务目标:计算模型加载前后的资源差值。输入或初始条件:准备一个已下载模型,并关闭无关应用。
实现要求:记录加载前后系统内存、显存和 /api/ps。验收条件:能区分权重占用与系统基线。
练习 2:测量上下文增量
任务目标:验证上下文长度对缓存的影响。输入或初始条件:使用同一模型、相同问题和两种 num_ctx。实现要求:比较显存、首字延迟和峰值内存。验收条件:除上下文外不改变其他变量。
练习 3:分析多模型驻留
任务目标:判断设备能否同时加载两个模型。输入或初始条件:准备两个不同模型。
实现要求:依次加载并观察 /api/ps、卸载行为和资源峰值。验收条件:给出可同时驻留或必须切换的结论。