大模型应用开发 / 系统课时

确认模型是否使用 GPU

确认模型是否使用 GPU

学习目标

完成本课后,你将能够:

  • 使用 Ollama 运行状态判断模型的 CPU 与 GPU 分布
  • 结合 NVIDIA、AMD 和 macOS 工具验证 GPU 是否真正参与计算
  • 区分 GPU 可见、模型已卸载到 GPU 和 GPU 利用率较高三个状态
  • 按照驱动、权限、容器和模型容量的顺序定位未启用 GPU 的原因

为什么不能只看“电脑有显卡”

GPU 是否参与 Ollama 推理,需要同时满足四个条件:

  • 操作系统和驱动能够识别 GPU。
  • Ollama 当前版本支持该 GPU 或运行后端。
  • Ollama 进程或容器有权限访问 GPU。
  • 模型权重和运行缓存能够按预期卸载到 GPU。

设备管理器、nvidia-smi 或系统信息能识别显卡,只能证明驱动层基本可见;它不能证明当前模型已经使用 GPU。最终要把 Ollama 的运行状态、GPU 工具和实际请求放在一起判断。

先让模型进入运行状态

ollama ps 只展示已经加载的模型。先在一个终端运行实际模型:

bash
ollama run <MODEL> "请用一句话解释本地推理。"

预期结果:

text
终端返回一段模型生成的文本。首次运行可能先下载模型,实际耗时取决于模型、网络和硬件。

<MODEL> 替换为已经下载或准备下载的真实模型标签。

使用 ollama ps 查看处理器分布

在模型仍处于驻留状态时执行:

bash
ollama ps

预期输出示例:

text
NAME       ID          SIZE      PROCESSOR       CONTEXT    UNTIL
<MODEL>    <MODEL_ID>  <SIZE>    <PROCESSOR>     <CONTEXT>  <UNTIL>

重点观察 PROCESSOR:

  • 100% GPU:模型权重全部卸载到 GPU。
  • 100% CPU:模型主要由 CPU 运行。
  • CPU/GPU 混合比例:只有一部分权重位于 GPU。

显示格式可能随版本变化。判断时以当前命令实际字段为准,不要把示例中的占位符当作固定输出。

使用 API 获取运行模型信息

运行模型查询接口:

bash
curl --fail --silent --show-error http://localhost:11434/api/ps

预期响应结构示例:

json
{
  "models": [
    {
      "name": "<MODEL>",
      "model": "<MODEL>",
      "size": 0,
      "size_vram": 0,
      "details": {
        "parameter_size": "<PARAMETER_SIZE>",
        "quantization_level": "<QUANTIZATION>"
      },
      "expires_at": "<TIMESTAMP>",
      "context_length": 0
    }
  ]
}

size、size_vram、context_length 和时间字段是动态值。判断重点:

  • size_vram 大于 0,说明至少有模型数据位于显存。
  • size_vram 接近 size,通常表示较高比例卸载到 GPU。
  • context_length 反映当前加载实例使用的上下文容量。

API 信息用于量化占用,ollama ps 更适合快速人工检查。

NVIDIA GPU 的系统级验证

先检查驱动:

bash
nvidia-smi

预期输出中应包含:

text
NVIDIA-SMI <VERSION>
Driver Version: <DRIVER_VERSION>
...
<GPU_NAME>

然后持续观察:

bash
nvidia-smi --loop=1

预期结果:

text
每秒刷新一次 GPU 利用率、显存占用和进程列表。模型生成期间,相关指标应出现变化。按 Control+C 结束。

如果 nvidia-smi 能看到 GPU,但请求期间没有 Ollama 相关进程或显存变化,再检查 Ollama 日志、容器 GPU 参数和模型是否退回 CPU。

AMD 与 macOS 的验证思路

AMD Linux 环境可在已安装 ROCm 工具时执行:

bash
rocm-smi

预期输出:

text
显示受支持 AMD GPU 的设备、显存、温度和利用率信息。字段取决于 ROCm 版本。

macOS 可先确认芯片和 Metal:

bash
system_profiler SPHardwareDataType
system_profiler SPDisplaysDataType

预期输出:

text
显示 Apple 芯片、统一内存和 Metal 支持信息。

Apple 芯片使用统一内存,不能把传统独立显存的判断方式原样套用。仍应以 ollama ps、内存压力和实际生成速度共同判断。

Docker 环境的分层验证

NVIDIA 容器应先绕过 Ollama,验证 Docker 能访问 GPU:

bash
docker run --rm --gpus all ubuntu nvidia-smi

预期输出:

text
容器内显示 NVIDIA-SMI、驱动版本和 GPU 型号。

再检查 Ollama 容器创建参数:

bash
docker inspect ollama --format '{{json .HostConfig.DeviceRequests}}'

预期输出示例:

json
[
  {
    "Driver": "",
    "Count": -1,
    "DeviceIDs": null,
    "Capabilities": [
      [
        "gpu"
      ]
    ],
    "Options": {}
  }
]

实际字段可能不同。若测试容器看不到 GPU,问题在 Docker GPU 运行时;若测试容器正常而 Ollama 不正常,再检查 Ollama 容器参数和日志。

未使用 GPU 的排查顺序

按以下顺序排查,避免一开始就更换模型或重装系统:

  1. 系统是否识别 GPU。
  2. 驱动工具是否正常。
  3. Ollama 日志是否识别到受支持设备。
  4. 进程或容器是否有设备权限。
  5. 容器是否配置 GPU 映射。
  6. 模型是否已实际加载。
  7. ollama ps 是否显示 CPU/GPU 分布。
  8. 模型、上下文和并发是否超过显存容量。
  9. 是否使用了当前后端不支持的 GPU 或系统组合。
  10. 更新驱动或 Ollama 后是否完成完整重启。

GPU 未启用时,服务仍可能正常返回结果,只是退回 CPU。因此“API 返回 200”不能作为 GPU 验收标准。

本课练习

练习 1:建立三层证据链

任务目标:确认模型使用 GPU。输入或初始条件:准备一个可运行模型和系统 GPU 工具。

实现要求:记录 ollama ps、/api/ps 和 GPU 系统工具的结果

验收条件:三类结果能相互印证模型加载位置和显存变化。

练习 2:定位容器 GPU 故障

任务目标:区分宿主机、Docker 和 Ollama 三层故障。

输入或初始条件:假设宿主机 nvidia-smi 正常,但 Ollama 容器显示 100% CPU。

实现要求:设计从测试容器到容器参数再到 Ollama 日志的检查顺序。验收条件:每一步都能明确故障归属。

练习 3:比较两种模型卸载比例

任务目标:观察模型规模对 GPU 卸载的影响。输入或初始条件:准备一个较小模型和一个较大模型。

实现要求:分别运行并记录 size、size_vram、处理器分布和生成速度

验收条件:能解释为何较大模型可能出现 CPU/GPU 混合。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

确认模型是否使用 GPU

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通