大模型应用开发 / 系统课时
CPU、内存与显存的作用
CPU、内存与显存的作用
学习目标
完成本课后,你将能够:
- 说明 CPU、系统内存、GPU、显存和磁盘在本地推理中的职责
- 根据模型大小和设备资源判断模型能否加载
- 区分容量不足、计算不足和内存带宽不足导致的性能问题
- 使用运行状态判断模型主要运行在 CPU 还是 GPU
模型运行依赖哪些资源
本地模型运行不是只看 GPU。完整链路至少涉及磁盘、系统内存、CPU、GPU 和显存:
- 磁盘保存模型文件。
- 系统内存保存运行时数据,也可以承载全部或部分模型权重。
- CPU 负责通用计算、请求处理和未卸载到 GPU 的推理计算。
- GPU 擅长并行矩阵计算,通常能显著提升生成速度。
- 显存保存 GPU 正在使用的模型权重、KV Cache 和中间数据。

磁盘:保存模型,不直接决定生成速度
模型下载后会占用磁盘空间。磁盘主要影响:
- 是否有足够空间保存模型
- 首次下载耗时
- 模型加载阶段的读取速度
- 多个模型版本的存储能力
模型加载完成后,持续生成速度通常更依赖 CPU、GPU、内存带宽和显存,而不是磁盘速度。磁盘空间规划不能只等于单个模型文件大小,还应预留:
- 多个模型和量化版本
- 下载过程中的临时空间
- 应用日志
- 向量数据库
- 文档和备份
- 软件升级空间
系统内存:决定模型能否被容纳
系统内存用于承载模型权重、运行时缓存、应用进程和操作系统本身。
如果没有可用 GPU,模型通常主要依赖 CPU 和系统内存运行。如果 GPU 显存不足,部分模型数据也可能放在系统内存中。判断模型是否可能运行时,不能直接使用:
可用内存 = 物理内存总量更合理的估算是:
可用于模型的内存
= 物理内存
- 操作系统占用
- Ollama 与应用占用
- 其他常驻程序占用
- 安全余量例如,16 GB 内存的电脑不会有完整 16 GB 可供模型使用。浏览器、开发工具和操作系统都需要占用内存。
CPU:通用但通常较慢
CPU 可以运行大多数受支持的本地模型,不要求独立显卡,因此兼容性较好。CPU 主要影响:
- 无 GPU 时的全部推理速度
- 模型部分卸载时的剩余计算
- Token 化和请求处理
- 数据在内存与设备之间的组织
- 其他业务应用的运行
CPU 推理速度不仅取决于核心数量,还受指令集、频率、内存带宽、功耗限制和模型实现影响。不能只比较“8 核”和“16 核”。CPU 模式适合:
- 验证模型能否运行
- 低频使用
- 小型模型
- 对响应时间要求不高的离线任务
GPU:加速并行计算
大模型推理包含大量矩阵计算,GPU 可以并行执行这些操作,因此通常比纯 CPU 推理更快。GPU 是否可用取决于:
- GPU 型号是否受当前 Ollama 和驱动支持
- 驱动是否正确安装
- 系统权限是否允许访问 GPU
- 容器是否映射 GPU
- 显存是否足以容纳模型和缓存
有 GPU 不等于一定启用 GPU。驱动、权限或容器配置错误时,模型可能退回 CPU。
显存:决定 GPU 能放下多少数据
显存用于保存:
- 模型权重
- KV Cache
- 中间计算结果
- 并发请求的数据
- 部分运行时缓冲区
如果模型权重和缓存能够全部放入显存,通常可以获得更稳定的 GPU 推理性能。如果显存只能放入一部分权重,系统可能采用 CPU/GPU 混合模式。显存不足可能出现:
- 模型无法加载
- 部分层回退到 CPU
- 生成速度显著下降
- 增大上下文后失败
- 并发请求时内存溢出
- GPU 驱动重置或进程退出
三种常见运行模式
| 运行模式 | 权重位置 | 特点 | 适用情况 |
|---|---|---|---|
| 完全 GPU | 权重主要在显存 | 通常速度较快 | 显存足够 |
| CPU/GPU 混合 | 一部分在显存,一部分在内存 | 能运行更大模型,但数据交换可能降低速度 | 显存不足但系统内存足够 |
| 完全 CPU | 权重主要在系统内存 | 兼容性高,但生成通常较慢 | 无可用 GPU 或 GPU 不受支持 |
Ollama 会根据设备和模型情况进行调度,但最终结果仍需实际检查,不能只根据硬件型号推断。
使用 ollama ps 检查运行位置
先确保已经有模型处于加载状态,再执行:
ollama ps预期输出示例:
NAME ID SIZE PROCESSOR CONTEXT UNTIL
<MODEL> <MODEL_ID> <SIZE> 100% GPU <CONTEXT> <UNTIL>也可能看到:
NAME ID SIZE PROCESSOR CONTEXT UNTIL
<MODEL> <MODEL_ID> <SIZE> 48%/52% CPU/GPU <CONTEXT> <UNTIL>或者:
NAME ID SIZE PROCESSOR CONTEXT UNTIL
<MODEL> <MODEL_ID> <SIZE> 100% CPU <CONTEXT> <UNTIL>实际格式可能随版本变化。判断重点是 PROCESSOR 列:
100% GPU:模型完全位于 GPU。100% CPU:模型完全位于系统内存并由 CPU 运行。- CPU/GPU 百分比:模型在两类设备之间分配。
容量和速度是两个问题
容量问题
容量问题回答“模型能否放下”。主要看:
- 模型量化后的权重大小
- 可用系统内存
- 可用显存
- 上下文长度
- 并发数量
- 其他进程占用
速度问题
速度问题回答“模型运行是否足够快”。主要看:
- GPU 或 CPU 的计算能力
- 内存与显存带宽
- 模型是否完全放入 GPU
- 输入和输出 Token 数
- 并发请求
- 功耗与温度限制
一台设备可能“能运行”某模型,但生成速度不满足交互式聊天要求。
粗略评估模型占用
仅根据参数量计算权重理论值,可以使用:
权重理论大小
≈ 参数数量 × 每个参数占用字节数常见理论情况:
| 数值精度 | 每个参数理论占用 |
|---|---|
| FP32 | 4 字节 |
| FP16 或 BF16 | 2 字节 |
| INT8 | 约 1 字节 |
| 4-bit 量化 | 约 0.5 字节 |
实际模型文件和运行占用还会包含元数据、量化分组、运行缓冲区和 KV Cache,因此不能把理论值当作最终内存需求。
例如,7B 参数模型使用 4-bit 表示时,权重理论值约为:
7,000,000,000 × 0.5 字节
≈ 3.5 GB实际运行需要高于 3.5 GB 的可用空间。
常见误区
误区 1:显存等于模型文件大小就一定能运行
模型还需要 KV Cache 和运行缓冲区,显存必须留出余量。
误区 2:内存足够就代表速度足够
大模型可以放入系统内存,但纯 CPU 生成速度可能不适合实时交互。
误区 3:独立显卡一定比集成 GPU 更适合
必须检查 Ollama、驱动和运行后端是否支持该设备,不能只看“独立”或“集成”。
误区 4:增加上下文不影响显存
上下文长度会影响 KV Cache,占用可能随上下文和并发增加。
误区 5:任务管理器显示 GPU 占用低就表示没有加速
不同系统可能把计算显示在特定计算引擎中。应结合 ollama ps、系统监控和实际生成速度判断。
本课练习
练习 1:分析资源职责
任务目标:区分磁盘、内存、CPU、GPU 和显存。初始条件:一个模型已经下载完成,但运行时提示内存不足。
实现要求:说明为什么“磁盘还有 200 GB 空间”不能解决问题。验收条件:答案必须区分模型存储空间与模型运行空间。
练习 2:判断混合运行原因
任务目标:理解 CPU/GPU 混合模式。初始条件:设备有 8 GB 显存和 32 GB 系统内存,ollama ps 显示模型部分位于 CPU、部分位于 GPU。实现要求:给出至少 3 个可能原因和验证方式。
验收条件:必须包含模型大小、其他显存占用和上下文长度。
练习 3:制定资源检查表
任务目标:在下载模型前完成硬件评估。初始条件:准备运行一个未知占用的模型。
实现要求:列出下载前、加载后和生成过程中要记录的资源指标。
验收条件:至少包含可用磁盘、可用内存、可用显存、处理器分布和生成速度。