服务注册与分布式协调 / 系统课时

设计 Worker 进程与部署单元

设计 Worker 进程与部署单元

本课解决 Worker 怎么拆、怎么部署的问题。最终结果不是“把任务平均分开”,而是按 Workflow、Activity 类型、资源特征和故障域建立清晰边界,让扩容、限流和故障隔离都能独立进行。

学习目标

  • 能根据 Workflow 与 Activity 的职责设计 Worker 进程边界
  • 能区分 CPU 密集、I/O 密集和关键任务的部署需求
  • 能用容量与故障域视角判断拆分是否合理

先按执行职责划分 Worker

Temporal Worker 的基本职责是轮询一个或多个 Task Queue,并执行其能够处理的 Workflow 或 Activity。设计部署单元时,第一步不是看机器数量,而是看哪些任务应该共享同一组资源和扩缩策略。

通常可以把 Workflow Worker 与 Activity Worker 分开考虑。Workflow 执行更关注确定性、Replay 成本和 Workflow Task 吞吐;Activity 则直接消耗外部 I/O、CPU、线程或连接池资源。二者混在一起,容易让一种负载把另一种负载拖慢。

Worker 按职责、资源需求与故障域拆分

用资源特征决定是否拆进程

CPU 密集型 Activity 更容易被计算负载打满,例如压缩、图像处理或复杂计算。它们适合独立的 Worker Deployment,并单独设置 CPU request/limit,使扩容信号直接对应计算压力。

I/O 密集型 Activity 往往受数据库、HTTP 服务、对象存储或连接池限制。它们的瓶颈不一定是 CPU,因此应单独观察并发数、连接数、超时和下游延迟。

关键任务 即使资源需求不高,也可能需要独立故障域。例如支付、账务或高优先级补偿任务,不应因为普通批处理 Worker 崩溃或发布而同时失去执行能力。

一个实用判断标准是:如果两类任务需要不同的扩容速度、资源配额、发布节奏或故障处理策略,就值得考虑拆分部署单元。

一个可落地的 Worker 划分

下面用配置片段表示一种部署意图。它不是某个特定平台的完整 Deployment,而是用于表达每个 Worker 单元应绑定不同 Task Queue 与资源类别的最小示例。

yaml
# 片段示例:展示三个 Worker Deployment 的资源与队列边界
workers:
  workflow:
    taskQueue: workflow-main
    replicas: 3
    resources:
      cpu: "1"
      memory: "1Gi"
  activity-io:
    taskQueue: activity-io
    replicas: 4
    resources:
      cpu: "1"
      memory: "1Gi"
  activity-cpu:
    taskQueue: activity-cpu
    replicas: 2
    resources:
      cpu: "4"
      memory: "2Gi"

预期结果

text
workflow      -> 独立处理 workflow-main
activity-io   -> 独立处理 activity-io,可按 I/O 并发扩容
activity-cpu  -> 独立处理 activity-cpu,可按 CPU 压力扩容

这里最重要的不是副本数量,而是 Task Queue 与部署边界形成一一对应的容量控制面。真正部署到 Kubernetes 或其他平台时,还应把健康检查、滚动发布和自动扩缩策略与各 Worker 单元分别绑定。

不要为了拆分而拆分

拆得过细会增加连接、监控、发布和运维成本。尤其是低吞吐、低资源的小型 Activity,如果没有独立扩缩或故障隔离需求,继续拆分只会制造更多 Deployment。

反过来,把所有 Workflow 和 Activity 放进一个 Worker 进程也有明显代价:CPU 峰值可能影响 I/O 任务,单次 OOM 或进程重启会同时影响多个业务域,扩容一个热点任务还会连带放大其他任务的实例数量。

因此,合理的粒度通常是“一个部署单元承担一组具有相同资源和运维特征的任务”,而不是“一个 Activity 一个 Worker”。

用故障域检查最终设计

在上线前,可以逐项检查:普通批处理 Worker 被杀掉时,关键任务是否还能消费;CPU 密集任务扩容时,I/O Worker 是否无需跟着扩容;某个下游依赖变慢时,是否会拖垮整个 Worker 进程;发布一个业务版本时,是否必须同时重启所有任务。

如果这些问题的答案多数是“会”,说明部署单元仍然过于耦合。好的 Worker 划分最终会让容量变化、发布变化和故障变化尽可能局部化。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

设计 Worker 进程与部署单元

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通