服务注册与分布式协调 / 系统课时

配置并发槽位与 Poller

配置并发槽位与 Poller

Worker 吞吐不是把“并发”调大就会自动提升。本课把 Task Queue 领取速度与本机执行容量拆开:先为 Workflow Task、Activity Task 设置可承受的并发槽位,再让 Poller 数量匹配真实负载,避免 CPU、内存或下游连接池先被打满。

学习目标

  • 区分 Workflow Task、Activity Task 的执行并发与 Poller 领取能力
  • 使用 Temporal Go SDK 为两类任务设置固定并发和 Poller 上限
  • 根据积压、Schedule-to-Start 与本机资源判断该扩槽位还是扩 Poller

先分清领取速度和执行容量

Temporal Worker 面对两条独立链路:Workflow Task 由 Workflow Poller 长轮询领取,再占用 Workflow Task 执行容量;Activity Task 则由 Activity Poller 领取,再占用 Activity 执行容量。Poller 回答“多快能拿到任务”,并发槽位回答“本机同时能处理多少任务”。

因此,Poller 多并不等于并发高。执行槽位已经饱和时继续增加 Poller,无法凭空增加 CPU、内存、线程或连接池容量;反过来,如果槽位长期空闲,但 Task Queue 仍持续积压、Schedule-to-Start 上升,领取侧才更值得检查。

Workflow Task 与 Activity Task 从 Poller 到执行槽位的关系

用固定上限建立安全起点

下面采用 Temporal Go SDK 的 worker.Options。这是片段示例:放入已有 Worker 初始化代码中,依赖已经创建好的 client.Client 变量 c;Task Queue 名为 orders。

go
opts := worker.Options{
    // Workflow Task 通常短而偏 CPU,先给出保守的本机并发上限。
    MaxConcurrentWorkflowTaskExecutionSize: 32,
    MaxConcurrentWorkflowTaskPollers:       4,

    // Activity 可能占用连接、文件句柄或第三方配额,应单独限并发。
    MaxConcurrentActivityExecutionSize: 16,
    MaxConcurrentActivityTaskPollers:       4,
}

w := worker.New(c, "orders", opts)

预期结果:该 Worker 最多同时执行 32 个 Workflow Task 和 16 个 Activity Task,并分别使用最多 4 个固定 Poller 领取对应任务。实际吞吐仍受任务耗时、CPU、内存、网络和下游资源约束。

调优时先找真正的瓶颈

先把执行容量调到机器和依赖能稳定承受的范围,再处理领取速度。Activity 如果是数据库或 HTTP I/O,应同时看连接池占用、超时和下游错误率;Workflow Task 则重点看 CPU、GC 和 Workflow Task 延迟,不能用巨大并发掩盖本机算力不足。

判断 Poller 是否偏少时,至少同时满足三个信号:Task Queue 有持续积压或 Schedule-to-Start 变长、执行槽位仍有余量、Worker CPU 与内存没有接近上限。若槽位已经满,应先优化任务耗时、增加槽位或水平扩 Worker,而不是继续加 Poller。

固定配置下,多个相同 Worker 实例的 Activity 并发上界大致是“实例数 × 每实例 Activity 并发上限”。扩容 Pod 会同步放大总并发,因此每次横向扩容都要重新核对数据库连接池、第三方 API 并发和机器资源预算。

不要把槽位当成下游限流器

并发上限只限制“同时在执行多少个任务”,不能精确限制“每秒开始多少次 Activity”。一个 50 毫秒的 Activity 即使并发只有 10,也可能产生很高的每秒速率。需要保护数据库或第三方 API 的 QPS 时,应再使用 Worker 级或 Task Queue 级 Activity 限速,而不是继续压低 Poller。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

配置并发槽位与 Poller

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通