大模型应用开发 / 系统课时

配置容器 GPU 加速

配置容器 GPU 加速

学习目标

完成本课后,你将能够:

  • 区分宿主机驱动、容器运行时和 Ollama 三层
  • 为 NVIDIA 容器配置 GPU 设备
  • 为 AMD ROCm 容器映射设备
  • 通过 ollama ps 和系统工具验证实际加速

三层依赖

GPU 容器正常需要:

  1. 宿主机驱动识别 GPU。
  2. Docker 运行时能把设备传入容器。
  3. Ollama 后端支持并实际使用设备。

任何一层失败都可能退回 CPU 或无法启动。

NVIDIA 宿主机检查

执行:

bash
nvidia-smi

预期输出中包含:

text
NVIDIA-SMI <VERSION>
Driver Version: <DRIVER_VERSION>
...
<GPU_NAME>

再测试 Docker GPU:

bash
docker run --rm --gpus all ubuntu nvidia-smi

预期结果:

text
容器内输出 NVIDIA GPU 与驱动信息。

第二条失败说明问题在 NVIDIA Container Toolkit 或 Docker 配置,不应先修改 Ollama 模型参数。

NVIDIA Compose 配置

compose.yaml:

yaml
services:
  ollama:
    image: ollama/ollama:<OLLAMA_VERSION>
    restart: unless-stopped
    ports:
      - "127.0.0.1:11434:11434"
    volumes:
      - ollama-data:/root/.ollama
    gpus: all

volumes:
  ollama-data:

Compose 与 Docker Engine 版本必须支持 gpus 字段。启动:

bash
docker compose up -d
docker compose exec ollama ollama pull gemma3:1b
docker compose exec ollama ollama run gemma3:1b "只回答:gpu-test"
docker compose exec ollama ollama ps

预期输出最后应显示:

text
NAME          ID          SIZE      PROCESSOR    CONTEXT    UNTIL
gemma3:1b     <ID>        <SIZE>    <PROCESSOR>  <CONTEXT>  <UNTIL>

PROCESSOR 用于确认 GPU 卸载比例。

AMD ROCm 配置

Linux AMD 示例:

yaml
services:
  ollama:
    image: ollama/ollama:rocm
    restart: unless-stopped
    devices:
      - /dev/kfd
      - /dev/dri
    volumes:
      - ollama-data:/root/.ollama
    ports:
      - "127.0.0.1:11434:11434"

volumes:
  ollama-data:

启动:

bash
docker compose up -d
docker compose logs --tail 100 ollama

预期结果:

text
容器启动,日志中没有设备权限或 ROCm 初始化失败。

AMD 支持范围依赖 GPU、内核和 ROCm,必须核对当前硬件文档。

设备权限

AMD 容器常见问题:

  • /dev/kfd 不存在
  • /dev/dri 权限不足
  • 用户不在 render 或 video 组
  • 宿主机 ROCm 不支持 GPU
  • 容器镜像与驱动不兼容

NVIDIA 常见问题:

  • Toolkit 未安装
  • Docker daemon 未配置运行时
  • 驱动版本过旧
  • WSL2 GPU 环境异常

macOS Docker 的限制

官方文档明确指出,Docker Desktop for macOS 缺少 Ollama 所需的 GPU 透传。Apple 芯片设备要使用本机 GPU 加速,应运行 macOS 原生 Ollama 应用。

在 macOS 容器中能运行 CPU 版,不代表可以使用 Metal GPU。

验证资源

NVIDIA 宿主机可同时观察:

bash
nvidia-smi --loop=1

预期结果:

text
每秒刷新进程、利用率和显存。按 Control+C 结束。

另一终端:

bash
docker compose exec ollama ollama ps

预期结果:

text
PROCESSOR 与宿主机显存变化相互印证。

资源限制与并发

容器 GPU 可见不等于资源隔离。多容器共享 GPU 时,应控制:

  • 同时加载模型数量
  • 并行请求
  • 上下文长度
  • 队列
  • 其他 GPU 任务
  • 进程崩溃恢复

模型能完全放入单卡时通常更容易获得稳定性能。

本课练习

练习 1:完成三层验证

任务目标:定位 GPU 故障层。输入或初始条件:一台 NVIDIA 主机。

实现要求:依次运行宿主机、测试容器和 Ollama 验证。验收条件:每层都有独立结论。

练习 2:比较 CPU 与 GPU

任务目标:量化加速效果。输入或初始条件:同一模型与提示词。实现要求:分别运行 CPU 容器和 GPU 容器

验收条件:记录 Processor、首字和输出速度。

练习 3:设计资源保护

任务目标:避免多容器争抢。输入或初始条件:GPU 同时运行两个服务。实现要求:设置模型、并发和队列策略。验收条件:压力测试时不会持续 OOM 重启。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

配置容器 GPU 加速

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通