大模型应用开发 / 系统课时

使用 Docker Compose 部署

使用 Docker Compose 部署

学习目标

完成本课后,你将能够:

  • 使用 Compose 声明 Ollama 服务和数据卷
  • 限制端口绑定并配置健康检查
  • 管理启动、更新、日志和数据生命周期
  • 为配套应用建立内部网络

Compose 的价值

docker run 适合快速启动,Compose 文件更适合把镜像、卷、端口、环境变量、健康检查和依赖服务纳入版本控制。

模型数据应使用命名卷或明确绑定目录,不能只存在容器可写层。

CPU 版 compose.yaml

创建 compose.yaml:

yaml
services:
  ollama:
    image: ollama/ollama:latest
    container_name: ollama
    restart: unless-stopped
    ports:
      - "127.0.0.1:11434:11434"
    volumes:
      - ollama-data:/root/.ollama
    healthcheck:
      test:
        - CMD
        - ollama
        - list
      interval: 30s
      timeout: 10s
      retries: 3
      start_period: 30s

volumes:
  ollama-data:

该配置只把端口绑定到宿主机本地回环,适合由同机 Nginx 代理。

启动与验证

执行:

bash
docker compose up -d
docker compose ps

预期输出结构:

text
NAME      IMAGE           COMMAND          SERVICE   CREATED      STATUS
ollama    ollama/ollama   "<COMMAND>"      ollama    <TIME>       Up <TIME> (healthy)

健康状态可能需要等待 start_period 后出现。验证 API:

bash
curl --fail --silent --show-error http://localhost:11434/api/tags

预期结果:

text
返回 models JSON。

执行模型命令

下载:

bash
docker compose exec ollama ollama pull gemma3:1b

预期输出最终包含:

text
success

查看:

bash
docker compose exec ollama ollama list

预期输出中包含:

text
gemma3:1b    <MODEL_ID>    <SIZE>    <MODIFIED>

增加内部应用

配置示例:

yaml
services:
  ollama:
    image: ollama/ollama:<OLLAMA_VERSION>
    restart: unless-stopped
    volumes:
      - ollama-data:/root/.ollama
    networks:
      - ai-internal

  app:
    image: <APPLICATION_IMAGE>
    restart: unless-stopped
    environment:
      OLLAMA_BASE_URL: http://ollama:11434
    depends_on:
      ollama:
        condition: service_healthy
    networks:
      - ai-internal

networks:
  ai-internal:

volumes:
  ollama-data:

这是部署配置示例。<OLLAMA_VERSION> 和 <APPLICATION_IMAGE> 必须替换为真实镜像。应用容器使用服务名 ollama,不能使用自己的 localhost。

更新镜像

执行:

bash
docker compose pull
docker compose up -d
docker compose ps

预期结果:

text
新镜像被拉取,必要容器重建,数据卷保持挂载。

生产应固定版本标签或摘要,更新前备份配置与模型清单,并执行回归测试。

日志和资源

查看日志:

bash
docker compose logs --tail 100 ollama

预期输出:

text
<RECENT_OLLAMA_LOGS>

查看资源:

bash
docker stats --no-stream ollama

预期输出结构:

text
CONTAINER ID   NAME     CPU %    MEM USAGE / LIMIT    ...
<ID>           ollama   <CPU>    <MEMORY>             ...

停止和删除

停止但保留容器:

bash
docker compose stop

预期结果:

text
服务进入 stopped 状态,卷仍保留。

删除容器和网络:

bash
docker compose down

预期结果:

text
容器和 Compose 网络被删除,命名卷默认保留。

彻底删除卷:

bash
docker compose down -v

预期结果:

text
容器、网络和声明的卷被删除。

-v 会清除模型数据,必须谨慎执行。

本课练习

练习 1:部署 CPU 服务

任务目标:完成可复现 Compose 配置。输入或初始条件:Docker Compose 可用。实现要求:启动、健康检查和 API 验证。验收条件:重建容器后模型卷仍存在。

练习 2:接入应用容器

任务目标:使用内部 DNS。输入或初始条件:准备一个后端容器。

实现要求:通过 http://ollama:11434 连接。验收条件:不依赖宿主机 IP。

练习 3:演练安全删除

任务目标:理解 down 与 down -v。输入或初始条件:测试卷中有模型。实现要求:先备份并比较两个命令。验收条件:明确哪一步会删除模型数据。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

使用 Docker Compose 部署

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通