大数据与流处理 / 系统课时

容器化运行

容器化运行

本课完成一个可在单机 Docker Compose 中启动的 Flink 作业环境,并把作业包、配置、日志、Checkpoint 与 Savepoint 明确挂载到宿主机。完成后,你可以重建容器而不丢失运行配置和可恢复状态,也能通过 Web UI 与容器日志验证集群是否正常。

学习目标

  • 区分镜像内文件、只读作业文件和需要持久化的运行目录
  • 编写 JobManager、TaskManager 的 Compose 配置
  • 验证容器注册、作业提交和状态目录写入结果

规划容器与挂载目录

最小环境由一个 JobManager 和一个 TaskManager 组成。JobManager 负责调度与协调,TaskManager 提供任务槽;作业 JAR 与配置文件使用只读挂载,日志和状态目录使用可写挂载。

Flink 容器组件与目录挂载关系

建议使用以下目录,避免把状态写进容器临时文件系统:

text
flink-container/
├── conf/flink-conf.yaml
├── job/app.jar
├── logs/jobmanager/
├── logs/taskmanager/
├── state/checkpoints/
├── state/savepoints/
└── compose.yaml

app.jar 必须是已经打包完成的 Flink 作业。示例假设入口类为 com.example.StreamingJob,实际使用时应替换为你的主类。

编写 Flink 配置

创建 conf/flink-conf.yaml。这里把 RPC 地址指向 Compose 服务名,并把 Checkpoint、Savepoint 写入已挂载目录:

yaml
jobmanager.rpc.address: jobmanager
taskmanager.numberOfTaskSlots: 2
parallelism.default: 2

state.checkpoints.dir: file:///opt/flink/checkpoints
state.savepoints.dir: file:///opt/flink/savepoints

web.submit.enable: false

web.submit.enable: false 禁止从 Web UI 上传任意 JAR,适合固定镜像或固定挂载作业的环境。若确需网页提交,应同时限制管理端口访问范围,而不是直接暴露到公网。

编写 Compose 配置

创建 compose.yaml。将 <FLINK_VERSION> 替换为实际使用的官方镜像标签,并确保宿主机目录对容器进程可读写:

yaml
services:
  jobmanager:
    image: flink:<FLINK_VERSION>
    command: standalone-job --job-classname com.example.StreamingJob
    restart: unless-stopped
    ports:
      - "${FLINK_WEB_PORT:-8081}:8081"
    volumes:
      - ./job/app.jar:/opt/flink/usrlib/app.jar:ro
      - ./conf/flink-conf.yaml:/opt/flink/conf/flink-conf.yaml:ro
      - ./logs/jobmanager:/opt/flink/log
      - ./state/checkpoints:/opt/flink/checkpoints
      - ./state/savepoints:/opt/flink/savepoints

  taskmanager:
    image: flink:<FLINK_VERSION>
    command: taskmanager
    restart: unless-stopped
    depends_on:
      - jobmanager
    volumes:
      - ./job/app.jar:/opt/flink/usrlib/app.jar:ro
      - ./conf/flink-conf.yaml:/opt/flink/conf/flink-conf.yaml:ro
      - ./logs/taskmanager:/opt/flink/log
      - ./state/checkpoints:/opt/flink/checkpoints
      - ./state/savepoints:/opt/flink/savepoints

本配置适合单机学习、测试和小规模内部任务。多主机环境不能依赖宿主机本地目录共享,应改用对象存储、分布式文件系统或 Kubernetes 持久卷保存状态。

启动并验证

先创建目录并确认 JAR 已存在,再启动服务:

bash
mkdir -p conf job logs/jobmanager logs/taskmanager state/checkpoints state/savepoints
test -f job/app.jar
docker compose up -d
docker compose ps

预期输出的关键状态如下,项目名前缀和容器名称可能不同:

text
NAME                         SERVICE       STATUS
<PROJECT>-jobmanager-1       jobmanager    Up
<PROJECT>-taskmanager-1      taskmanager   Up

随后访问 http://localhost:<PORT>,其中默认端口为 8081。Web UI 中应看到一个已注册 TaskManager 和两个可用任务槽;logs 目录应产生日志文件,启用 Checkpoint 的作业运行后,state/checkpoints 中应出现状态数据。

典型失败处理

容器启动后立即退出,先执行 docker compose logs jobmanager taskmanager。若提示找不到作业类,检查 JAR 是否挂载成功以及 --job-classname 是否为完整类名;若 TaskManager 无法注册,检查两个服务是否读取了同一份 flink-conf.yaml。

出现 Permission denied 时,不要直接使用 chmod -R 777。该做法会让其他本地用户获得状态和日志写权限。更安全的方式是把目录所有者调整为镜像内运行用户,或使用受控的 Docker 命名卷。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

容器化运行

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通