大模型应用开发 / 系统课时
配置容器 GPU 加速
配置容器 GPU 加速
学习目标
完成本课后,你将能够:
- 区分宿主机驱动、容器运行时和 Ollama 三层
- 为 NVIDIA 容器配置 GPU 设备
- 为 AMD ROCm 容器映射设备
- 通过
ollama ps和系统工具验证实际加速
三层依赖
GPU 容器正常需要:
- 宿主机驱动识别 GPU。
- Docker 运行时能把设备传入容器。
- Ollama 后端支持并实际使用设备。
任何一层失败都可能退回 CPU 或无法启动。
NVIDIA 宿主机检查
执行:
nvidia-smi预期输出中包含:
NVIDIA-SMI <VERSION>
Driver Version: <DRIVER_VERSION>
...
<GPU_NAME>再测试 Docker GPU:
docker run --rm --gpus all ubuntu nvidia-smi预期结果:
容器内输出 NVIDIA GPU 与驱动信息。第二条失败说明问题在 NVIDIA Container Toolkit 或 Docker 配置,不应先修改 Ollama 模型参数。
NVIDIA Compose 配置
compose.yaml:
services:
ollama:
image: ollama/ollama:<OLLAMA_VERSION>
restart: unless-stopped
ports:
- "127.0.0.1:11434:11434"
volumes:
- ollama-data:/root/.ollama
gpus: all
volumes:
ollama-data:Compose 与 Docker Engine 版本必须支持 gpus 字段。启动:
docker compose up -d
docker compose exec ollama ollama pull gemma3:1b
docker compose exec ollama ollama run gemma3:1b "只回答:gpu-test"
docker compose exec ollama ollama ps预期输出最后应显示:
NAME ID SIZE PROCESSOR CONTEXT UNTIL
gemma3:1b <ID> <SIZE> <PROCESSOR> <CONTEXT> <UNTIL>PROCESSOR 用于确认 GPU 卸载比例。
AMD ROCm 配置
Linux AMD 示例:
services:
ollama:
image: ollama/ollama:rocm
restart: unless-stopped
devices:
- /dev/kfd
- /dev/dri
volumes:
- ollama-data:/root/.ollama
ports:
- "127.0.0.1:11434:11434"
volumes:
ollama-data:启动:
docker compose up -d
docker compose logs --tail 100 ollama预期结果:
容器启动,日志中没有设备权限或 ROCm 初始化失败。AMD 支持范围依赖 GPU、内核和 ROCm,必须核对当前硬件文档。
设备权限
AMD 容器常见问题:
/dev/kfd不存在/dev/dri权限不足- 用户不在
render或video组 - 宿主机 ROCm 不支持 GPU
- 容器镜像与驱动不兼容
NVIDIA 常见问题:
- Toolkit 未安装
- Docker daemon 未配置运行时
- 驱动版本过旧
- WSL2 GPU 环境异常
macOS Docker 的限制
官方文档明确指出,Docker Desktop for macOS 缺少 Ollama 所需的 GPU 透传。Apple 芯片设备要使用本机 GPU 加速,应运行 macOS 原生 Ollama 应用。
在 macOS 容器中能运行 CPU 版,不代表可以使用 Metal GPU。
验证资源
NVIDIA 宿主机可同时观察:
nvidia-smi --loop=1预期结果:
每秒刷新进程、利用率和显存。按 Control+C 结束。另一终端:
docker compose exec ollama ollama ps预期结果:
PROCESSOR 与宿主机显存变化相互印证。资源限制与并发
容器 GPU 可见不等于资源隔离。多容器共享 GPU 时,应控制:
- 同时加载模型数量
- 并行请求
- 上下文长度
- 队列
- 其他 GPU 任务
- 进程崩溃恢复
模型能完全放入单卡时通常更容易获得稳定性能。
本课练习
练习 1:完成三层验证
任务目标:定位 GPU 故障层。输入或初始条件:一台 NVIDIA 主机。
实现要求:依次运行宿主机、测试容器和 Ollama 验证。验收条件:每层都有独立结论。
练习 2:比较 CPU 与 GPU
任务目标:量化加速效果。输入或初始条件:同一模型与提示词。实现要求:分别运行 CPU 容器和 GPU 容器
验收条件:记录 Processor、首字和输出速度。
练习 3:设计资源保护
任务目标:避免多容器争抢。输入或初始条件:GPU 同时运行两个服务。实现要求:设置模型、并发和队列策略。验收条件:压力测试时不会持续 OOM 重启。