大模型应用开发 / 系统课时
排查 GPU 与内存异常
排查 GPU 与内存异常
学习目标
完成本课后,你将能够:
- 根据错误表现区分 GPU 不可见、显存不足和系统内存不足
- 检查驱动、设备权限、容器映射和实际模型卸载比例
- 通过减小模型、上下文、并发和驻留数量恢复服务
- 建立修复后的资源和性能验证标准
常见故障表现
| 表现 | 可能原因 |
|---|---|
ollama ps 显示 100% CPU |
GPU 不受支持、驱动或权限异常 |
| 模型加载时报内存不足 | 权重超过可用内存或显存 |
| 长问题失败,短问题正常 | KV Cache 超出容量 |
| 单请求正常,多请求失败 | 并行上下文叠加 |
| 加载第二个模型时失败 | 多模型驻留超过容量 |
| Linux 进程突然被结束 | 内核 OOM Killer |
| GPU 工具报设备丢失 | 驱动重置、温度或硬件问题 |
| 系统长时间卡顿 | 物理内存不足并持续交换 |
检查 GPU 驱动层
NVIDIA:
bash
nvidia-smi预期输出:
text
显示驱动版本、GPU 型号、显存和进程列表。设备节点:
bash
ls -l /dev/nvidia* 2>/dev/null预期输出:
text
显示 NVIDIA 设备节点及权限;无 NVIDIA 设备时可能无输出。AMD:
bash
ls -l /dev/kfd /dev/dri 2>/dev/null
rocm-smi 2>/dev/null || true预期结果:
text
显示 AMD 相关设备节点;已安装 ROCm 工具时输出 GPU 状态。驱动工具本身失败时,先修复系统驱动,不要继续调 Ollama 参数。
检查 Ollama 实际加载位置
运行模型后:
bash
ollama ps
curl --fail --silent --show-error http://localhost:11434/api/ps预期结果:
text
ollama ps 显示 PROCESSOR,API 返回 size、size_vram、context_length 和 expires_at 等运行信息。如果 size_vram 为 0 且处理器为 CPU,检查日志是否发现 GPU,以及当前 GPU 是否在支持范围内。
检查系统 OOM 证据
Linux:
bash
journalctl -k --since "-30 min" | grep -iE 'out of memory|oom|killed process'预期输出:
text
发生 OOM 时显示内核相关记录;没有发生时无输出。查看内存与交换:
bash
free -h
vmstat 1 5预期结果:
text
显示可用内存、Swap 以及连续 5 次系统采样。si、so 持续非零通常表示交换活动。频繁交换会显著拖慢推理。
容器 GPU 权限排查
NVIDIA 测试:
bash
docker run --rm --gpus all ubuntu nvidia-smi预期结果:
text
容器内能显示 GPU。AMD 测试容器需要映射设备:
bash
docker inspect ollama --format '{{json .HostConfig.Devices}}'预期结果:
text
显示容器设备映射;AMD 方案应包含 /dev/kfd 和 /dev/dri 所需映射。宿主机正常、测试容器失败,说明问题位于容器运行时或权限,而不是模型。
按成本从低到高降低资源
- 停止无关 GPU 进程。
- 减少同时驻留模型。
- 降低
keep_alive。 - 降低
num_ctx。 - 降低并行数。
- 限制输入和输出长度。
- 使用更低位量化。
- 使用更小参数模型。
- 开启受支持的 Flash Attention 或缓存优化。
- 增加内存、显存或更换设备。
每次只改一个变量并重新测量,否则无法确认真正有效的修复项。
释放驻留模型
查看:
bash
ollama ps停止目标模型:
bash
ollama stop <MODEL>预期结果:
text
命令正常结束;再次执行 ollama ps 时目标模型不再显示。如果多个模型占用资源,应逐个确认是否仍有业务请求,避免直接停止生产使用中的模型。
长上下文故障验证
先用较小上下文测试:
bash
curl http://localhost:11434/api/generate -d '{
"model": "<MODEL>",
"prompt": "用一句话说明上下文缓存。",
"stream": false,
"options": {
"num_ctx": 2048
}
}'预期结果:
text
状态码 200,响应包含生成文本和性能元数据。如果小上下文成功、大上下文失败,且权重未变化,KV Cache 是重点检查方向。
修复后验收
至少满足:
- 驱动工具稳定工作
- Ollama 日志识别预期设备
ollama ps显示预期卸载比例- 目标上下文请求成功
- 目标并发不触发 OOM
- 显存与内存有安全余量
- 连续运行不发生驱动重置
- 生成速度达到业务最低要求
只让模型偶尔成功一次,不足以判定资源问题已解决。
本课练习
练习 1:区分 GPU 不可见与显存不足
任务目标:建立分层判断。输入或初始条件:一个模型使用 CPU,另一个模型加载失败。
实现要求:分别检查驱动、运行状态、size_vram 和日志。验收条件:给出两种故障的不同证据。
练习 2:恢复长上下文请求
任务目标:定位 KV Cache 压力。输入或初始条件:短请求成功,长请求 OOM。实现要求:降低上下文、并行和输出长度逐项测试。验收条件:确定最小有效修改并记录资源差值。
练习 3:制定 OOM 应急动作
任务目标:让服务快速恢复。输入或初始条件:生产模型进程被 OOM Killer 结束。
实现要求:设计停止流量、释放模型、降低配置、重启和复验步骤。验收条件:动作顺序避免再次触发 OOM。
按自己的节奏,确认真正理解。