大模型应用开发 / 系统课时
确认模型是否使用 GPU
确认模型是否使用 GPU
学习目标
完成本课后,你将能够:
- 使用 Ollama 运行状态判断模型的 CPU 与 GPU 分布
- 结合 NVIDIA、AMD 和 macOS 工具验证 GPU 是否真正参与计算
- 区分 GPU 可见、模型已卸载到 GPU 和 GPU 利用率较高三个状态
- 按照驱动、权限、容器和模型容量的顺序定位未启用 GPU 的原因
为什么不能只看“电脑有显卡”
GPU 是否参与 Ollama 推理,需要同时满足四个条件:
- 操作系统和驱动能够识别 GPU。
- Ollama 当前版本支持该 GPU 或运行后端。
- Ollama 进程或容器有权限访问 GPU。
- 模型权重和运行缓存能够按预期卸载到 GPU。
设备管理器、nvidia-smi 或系统信息能识别显卡,只能证明驱动层基本可见;它不能证明当前模型已经使用 GPU。最终要把 Ollama 的运行状态、GPU 工具和实际请求放在一起判断。
先让模型进入运行状态
ollama ps 只展示已经加载的模型。先在一个终端运行实际模型:
ollama run <MODEL> "请用一句话解释本地推理。"预期结果:
终端返回一段模型生成的文本。首次运行可能先下载模型,实际耗时取决于模型、网络和硬件。<MODEL> 替换为已经下载或准备下载的真实模型标签。
使用 ollama ps 查看处理器分布
在模型仍处于驻留状态时执行:
ollama ps预期输出示例:
NAME ID SIZE PROCESSOR CONTEXT UNTIL
<MODEL> <MODEL_ID> <SIZE> <PROCESSOR> <CONTEXT> <UNTIL>重点观察 PROCESSOR:
100% GPU:模型权重全部卸载到 GPU。100% CPU:模型主要由 CPU 运行。- CPU/GPU 混合比例:只有一部分权重位于 GPU。
显示格式可能随版本变化。判断时以当前命令实际字段为准,不要把示例中的占位符当作固定输出。
使用 API 获取运行模型信息
运行模型查询接口:
curl --fail --silent --show-error http://localhost:11434/api/ps预期响应结构示例:
{
"models": [
{
"name": "<MODEL>",
"model": "<MODEL>",
"size": 0,
"size_vram": 0,
"details": {
"parameter_size": "<PARAMETER_SIZE>",
"quantization_level": "<QUANTIZATION>"
},
"expires_at": "<TIMESTAMP>",
"context_length": 0
}
]
}size、size_vram、context_length 和时间字段是动态值。判断重点:
size_vram大于0,说明至少有模型数据位于显存。size_vram接近size,通常表示较高比例卸载到 GPU。context_length反映当前加载实例使用的上下文容量。
API 信息用于量化占用,ollama ps 更适合快速人工检查。
NVIDIA GPU 的系统级验证
先检查驱动:
nvidia-smi预期输出中应包含:
NVIDIA-SMI <VERSION>
Driver Version: <DRIVER_VERSION>
...
<GPU_NAME>然后持续观察:
nvidia-smi --loop=1预期结果:
每秒刷新一次 GPU 利用率、显存占用和进程列表。模型生成期间,相关指标应出现变化。按 Control+C 结束。如果 nvidia-smi 能看到 GPU,但请求期间没有 Ollama 相关进程或显存变化,再检查 Ollama 日志、容器 GPU 参数和模型是否退回 CPU。
AMD 与 macOS 的验证思路
AMD Linux 环境可在已安装 ROCm 工具时执行:
rocm-smi预期输出:
显示受支持 AMD GPU 的设备、显存、温度和利用率信息。字段取决于 ROCm 版本。macOS 可先确认芯片和 Metal:
system_profiler SPHardwareDataType
system_profiler SPDisplaysDataType预期输出:
显示 Apple 芯片、统一内存和 Metal 支持信息。Apple 芯片使用统一内存,不能把传统独立显存的判断方式原样套用。仍应以 ollama ps、内存压力和实际生成速度共同判断。
Docker 环境的分层验证
NVIDIA 容器应先绕过 Ollama,验证 Docker 能访问 GPU:
docker run --rm --gpus all ubuntu nvidia-smi预期输出:
容器内显示 NVIDIA-SMI、驱动版本和 GPU 型号。再检查 Ollama 容器创建参数:
docker inspect ollama --format '{{json .HostConfig.DeviceRequests}}'预期输出示例:
[
{
"Driver": "",
"Count": -1,
"DeviceIDs": null,
"Capabilities": [
[
"gpu"
]
],
"Options": {}
}
]实际字段可能不同。若测试容器看不到 GPU,问题在 Docker GPU 运行时;若测试容器正常而 Ollama 不正常,再检查 Ollama 容器参数和日志。
未使用 GPU 的排查顺序
按以下顺序排查,避免一开始就更换模型或重装系统:
- 系统是否识别 GPU。
- 驱动工具是否正常。
- Ollama 日志是否识别到受支持设备。
- 进程或容器是否有设备权限。
- 容器是否配置 GPU 映射。
- 模型是否已实际加载。
ollama ps是否显示 CPU/GPU 分布。- 模型、上下文和并发是否超过显存容量。
- 是否使用了当前后端不支持的 GPU 或系统组合。
- 更新驱动或 Ollama 后是否完成完整重启。
GPU 未启用时,服务仍可能正常返回结果,只是退回 CPU。因此“API 返回 200”不能作为 GPU 验收标准。
本课练习
练习 1:建立三层证据链
任务目标:确认模型使用 GPU。输入或初始条件:准备一个可运行模型和系统 GPU 工具。
实现要求:记录 ollama ps、/api/ps 和 GPU 系统工具的结果
验收条件:三类结果能相互印证模型加载位置和显存变化。
练习 2:定位容器 GPU 故障
任务目标:区分宿主机、Docker 和 Ollama 三层故障。
输入或初始条件:假设宿主机 nvidia-smi 正常,但 Ollama 容器显示 100% CPU。
实现要求:设计从测试容器到容器参数再到 Ollama 日志的检查顺序。验收条件:每一步都能明确故障归属。
练习 3:比较两种模型卸载比例
任务目标:观察模型规模对 GPU 卸载的影响。输入或初始条件:准备一个较小模型和一个较大模型。
实现要求:分别运行并记录 size、size_vram、处理器分布和生成速度
验收条件:能解释为何较大模型可能出现 CPU/GPU 混合。