大模型应用开发 / 系统课时

排查 GPU 与内存异常

排查 GPU 与内存异常

学习目标

完成本课后,你将能够:

  • 根据错误表现区分 GPU 不可见、显存不足和系统内存不足
  • 检查驱动、设备权限、容器映射和实际模型卸载比例
  • 通过减小模型、上下文、并发和驻留数量恢复服务
  • 建立修复后的资源和性能验证标准

常见故障表现

表现 可能原因
ollama ps 显示 100% CPU GPU 不受支持、驱动或权限异常
模型加载时报内存不足 权重超过可用内存或显存
长问题失败,短问题正常 KV Cache 超出容量
单请求正常,多请求失败 并行上下文叠加
加载第二个模型时失败 多模型驻留超过容量
Linux 进程突然被结束 内核 OOM Killer
GPU 工具报设备丢失 驱动重置、温度或硬件问题
系统长时间卡顿 物理内存不足并持续交换

检查 GPU 驱动层

NVIDIA:

bash
nvidia-smi

预期输出:

text
显示驱动版本、GPU 型号、显存和进程列表。

设备节点:

bash
ls -l /dev/nvidia* 2>/dev/null

预期输出:

text
显示 NVIDIA 设备节点及权限;无 NVIDIA 设备时可能无输出。

AMD:

bash
ls -l /dev/kfd /dev/dri 2>/dev/null
rocm-smi 2>/dev/null || true

预期结果:

text
显示 AMD 相关设备节点;已安装 ROCm 工具时输出 GPU 状态。

驱动工具本身失败时,先修复系统驱动,不要继续调 Ollama 参数。

检查 Ollama 实际加载位置

运行模型后:

bash
ollama ps
curl --fail --silent --show-error http://localhost:11434/api/ps

预期结果:

text
ollama ps 显示 PROCESSOR,API 返回 size、size_vram、context_length 和 expires_at 等运行信息。

如果 size_vram 为 0 且处理器为 CPU,检查日志是否发现 GPU,以及当前 GPU 是否在支持范围内。

检查系统 OOM 证据

Linux:

bash
journalctl -k --since "-30 min" | grep -iE 'out of memory|oom|killed process'

预期输出:

text
发生 OOM 时显示内核相关记录;没有发生时无输出。

查看内存与交换:

bash
free -h
vmstat 1 5

预期结果:

text
显示可用内存、Swap 以及连续 5 次系统采样。

si、so 持续非零通常表示交换活动。频繁交换会显著拖慢推理。

容器 GPU 权限排查

NVIDIA 测试:

bash
docker run --rm --gpus all ubuntu nvidia-smi

预期结果:

text
容器内能显示 GPU。

AMD 测试容器需要映射设备:

bash
docker inspect ollama --format '{{json .HostConfig.Devices}}'

预期结果:

text
显示容器设备映射;AMD 方案应包含 /dev/kfd 和 /dev/dri 所需映射。

宿主机正常、测试容器失败,说明问题位于容器运行时或权限,而不是模型。

按成本从低到高降低资源

  1. 停止无关 GPU 进程。
  2. 减少同时驻留模型。
  3. 降低 keep_alive。
  4. 降低 num_ctx。
  5. 降低并行数。
  6. 限制输入和输出长度。
  7. 使用更低位量化。
  8. 使用更小参数模型。
  9. 开启受支持的 Flash Attention 或缓存优化。
  10. 增加内存、显存或更换设备。

每次只改一个变量并重新测量,否则无法确认真正有效的修复项。

释放驻留模型

查看:

bash
ollama ps

停止目标模型:

bash
ollama stop <MODEL>

预期结果:

text
命令正常结束;再次执行 ollama ps 时目标模型不再显示。

如果多个模型占用资源,应逐个确认是否仍有业务请求,避免直接停止生产使用中的模型。

长上下文故障验证

先用较小上下文测试:

bash
curl http://localhost:11434/api/generate -d '{
  "model": "<MODEL>",
  "prompt": "用一句话说明上下文缓存。",
  "stream": false,
  "options": {
    "num_ctx": 2048
  }
}'

预期结果:

text
状态码 200,响应包含生成文本和性能元数据。

如果小上下文成功、大上下文失败,且权重未变化,KV Cache 是重点检查方向。

修复后验收

至少满足:

  • 驱动工具稳定工作
  • Ollama 日志识别预期设备
  • ollama ps 显示预期卸载比例
  • 目标上下文请求成功
  • 目标并发不触发 OOM
  • 显存与内存有安全余量
  • 连续运行不发生驱动重置
  • 生成速度达到业务最低要求

只让模型偶尔成功一次,不足以判定资源问题已解决。

本课练习

练习 1:区分 GPU 不可见与显存不足

任务目标:建立分层判断。输入或初始条件:一个模型使用 CPU,另一个模型加载失败。

实现要求:分别检查驱动、运行状态、size_vram 和日志。验收条件:给出两种故障的不同证据。

练习 2:恢复长上下文请求

任务目标:定位 KV Cache 压力。输入或初始条件:短请求成功,长请求 OOM。实现要求:降低上下文、并行和输出长度逐项测试。验收条件:确定最小有效修改并记录资源差值。

练习 3:制定 OOM 应急动作

任务目标:让服务快速恢复。输入或初始条件:生产模型进程被 OOM Killer 结束。

实现要求:设计停止流量、释放模型、降低配置、重启和复验步骤。验收条件:动作顺序避免再次触发 OOM。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

排查 GPU 与内存异常

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通