大模型应用开发 / 系统课时

CPU、内存与显存的作用

CPU、内存与显存的作用

学习目标

完成本课后,你将能够:

  • 说明 CPU、系统内存、GPU、显存和磁盘在本地推理中的职责
  • 根据模型大小和设备资源判断模型能否加载
  • 区分容量不足、计算不足和内存带宽不足导致的性能问题
  • 使用运行状态判断模型主要运行在 CPU 还是 GPU

模型运行依赖哪些资源

本地模型运行不是只看 GPU。完整链路至少涉及磁盘、系统内存、CPU、GPU 和显存:

  • 磁盘保存模型文件。
  • 系统内存保存运行时数据,也可以承载全部或部分模型权重。
  • CPU 负责通用计算、请求处理和未卸载到 GPU 的推理计算。
  • GPU 擅长并行矩阵计算,通常能显著提升生成速度。
  • 显存保存 GPU 正在使用的模型权重、KV Cache 和中间数据。

本地模型运行中的硬件资源流向

磁盘:保存模型,不直接决定生成速度

模型下载后会占用磁盘空间。磁盘主要影响:

  • 是否有足够空间保存模型
  • 首次下载耗时
  • 模型加载阶段的读取速度
  • 多个模型版本的存储能力

模型加载完成后,持续生成速度通常更依赖 CPU、GPU、内存带宽和显存,而不是磁盘速度。磁盘空间规划不能只等于单个模型文件大小,还应预留:

  • 多个模型和量化版本
  • 下载过程中的临时空间
  • 应用日志
  • 向量数据库
  • 文档和备份
  • 软件升级空间

系统内存:决定模型能否被容纳

系统内存用于承载模型权重、运行时缓存、应用进程和操作系统本身。

如果没有可用 GPU,模型通常主要依赖 CPU 和系统内存运行。如果 GPU 显存不足,部分模型数据也可能放在系统内存中。判断模型是否可能运行时,不能直接使用:

text
可用内存 = 物理内存总量

更合理的估算是:

text
可用于模型的内存
= 物理内存
- 操作系统占用
- Ollama 与应用占用
- 其他常驻程序占用
- 安全余量

例如,16 GB 内存的电脑不会有完整 16 GB 可供模型使用。浏览器、开发工具和操作系统都需要占用内存。

CPU:通用但通常较慢

CPU 可以运行大多数受支持的本地模型,不要求独立显卡,因此兼容性较好。CPU 主要影响:

  • 无 GPU 时的全部推理速度
  • 模型部分卸载时的剩余计算
  • Token 化和请求处理
  • 数据在内存与设备之间的组织
  • 其他业务应用的运行

CPU 推理速度不仅取决于核心数量,还受指令集、频率、内存带宽、功耗限制和模型实现影响。不能只比较“8 核”和“16 核”。CPU 模式适合:

  • 验证模型能否运行
  • 低频使用
  • 小型模型
  • 对响应时间要求不高的离线任务

GPU:加速并行计算

大模型推理包含大量矩阵计算,GPU 可以并行执行这些操作,因此通常比纯 CPU 推理更快。GPU 是否可用取决于:

  • GPU 型号是否受当前 Ollama 和驱动支持
  • 驱动是否正确安装
  • 系统权限是否允许访问 GPU
  • 容器是否映射 GPU
  • 显存是否足以容纳模型和缓存

有 GPU 不等于一定启用 GPU。驱动、权限或容器配置错误时,模型可能退回 CPU。

显存:决定 GPU 能放下多少数据

显存用于保存:

  • 模型权重
  • KV Cache
  • 中间计算结果
  • 并发请求的数据
  • 部分运行时缓冲区

如果模型权重和缓存能够全部放入显存,通常可以获得更稳定的 GPU 推理性能。如果显存只能放入一部分权重,系统可能采用 CPU/GPU 混合模式。显存不足可能出现:

  • 模型无法加载
  • 部分层回退到 CPU
  • 生成速度显著下降
  • 增大上下文后失败
  • 并发请求时内存溢出
  • GPU 驱动重置或进程退出

三种常见运行模式

运行模式 权重位置 特点 适用情况
完全 GPU 权重主要在显存 通常速度较快 显存足够
CPU/GPU 混合 一部分在显存,一部分在内存 能运行更大模型,但数据交换可能降低速度 显存不足但系统内存足够
完全 CPU 权重主要在系统内存 兼容性高,但生成通常较慢 无可用 GPU 或 GPU 不受支持

Ollama 会根据设备和模型情况进行调度,但最终结果仍需实际检查,不能只根据硬件型号推断。

使用 ollama ps 检查运行位置

先确保已经有模型处于加载状态,再执行:

bash
ollama ps

预期输出示例:

text
NAME       ID          SIZE      PROCESSOR       CONTEXT    UNTIL
<MODEL>    <MODEL_ID>  <SIZE>    100% GPU        <CONTEXT>  <UNTIL>

也可能看到:

text
NAME       ID          SIZE      PROCESSOR       CONTEXT    UNTIL
<MODEL>    <MODEL_ID>  <SIZE>    48%/52% CPU/GPU <CONTEXT>  <UNTIL>

或者:

text
NAME       ID          SIZE      PROCESSOR       CONTEXT    UNTIL
<MODEL>    <MODEL_ID>  <SIZE>    100% CPU        <CONTEXT>  <UNTIL>

实际格式可能随版本变化。判断重点是 PROCESSOR 列:

  • 100% GPU:模型完全位于 GPU。
  • 100% CPU:模型完全位于系统内存并由 CPU 运行。
  • CPU/GPU 百分比:模型在两类设备之间分配。

容量和速度是两个问题

容量问题

容量问题回答“模型能否放下”。主要看:

  • 模型量化后的权重大小
  • 可用系统内存
  • 可用显存
  • 上下文长度
  • 并发数量
  • 其他进程占用

速度问题

速度问题回答“模型运行是否足够快”。主要看:

  • GPU 或 CPU 的计算能力
  • 内存与显存带宽
  • 模型是否完全放入 GPU
  • 输入和输出 Token 数
  • 并发请求
  • 功耗与温度限制

一台设备可能“能运行”某模型,但生成速度不满足交互式聊天要求。

粗略评估模型占用

仅根据参数量计算权重理论值,可以使用:

text
权重理论大小
≈ 参数数量 × 每个参数占用字节数

常见理论情况:

数值精度 每个参数理论占用
FP32 4 字节
FP16 或 BF16 2 字节
INT8 约 1 字节
4-bit 量化 约 0.5 字节

实际模型文件和运行占用还会包含元数据、量化分组、运行缓冲区和 KV Cache,因此不能把理论值当作最终内存需求。

例如,7B 参数模型使用 4-bit 表示时,权重理论值约为:

text
7,000,000,000 × 0.5 字节
≈ 3.5 GB

实际运行需要高于 3.5 GB 的可用空间。

常见误区

误区 1:显存等于模型文件大小就一定能运行

模型还需要 KV Cache 和运行缓冲区,显存必须留出余量。

误区 2:内存足够就代表速度足够

大模型可以放入系统内存,但纯 CPU 生成速度可能不适合实时交互。

误区 3:独立显卡一定比集成 GPU 更适合

必须检查 Ollama、驱动和运行后端是否支持该设备,不能只看“独立”或“集成”。

误区 4:增加上下文不影响显存

上下文长度会影响 KV Cache,占用可能随上下文和并发增加。

误区 5:任务管理器显示 GPU 占用低就表示没有加速

不同系统可能把计算显示在特定计算引擎中。应结合 ollama ps、系统监控和实际生成速度判断。

本课练习

练习 1:分析资源职责

任务目标:区分磁盘、内存、CPU、GPU 和显存。初始条件:一个模型已经下载完成,但运行时提示内存不足。

实现要求:说明为什么“磁盘还有 200 GB 空间”不能解决问题。验收条件:答案必须区分模型存储空间与模型运行空间。

练习 2:判断混合运行原因

任务目标:理解 CPU/GPU 混合模式。初始条件:设备有 8 GB 显存和 32 GB 系统内存,ollama ps 显示模型部分位于 CPU、部分位于 GPU。实现要求:给出至少 3 个可能原因和验证方式。

验收条件:必须包含模型大小、其他显存占用和上下文长度。

练习 3:制定资源检查表

任务目标:在下载模型前完成硬件评估。初始条件:准备运行一个未知占用的模型。

实现要求:列出下载前、加载后和生成过程中要记录的资源指标。

验收条件:至少包含可用磁盘、可用内存、可用显存、处理器分布和生成速度。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

CPU、内存与显存的作用

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通