服务注册与分布式协调 / 系统课时

限制 Activity 与队列吞吐

限制 Activity 与队列吞吐

Activity Worker 很容易把可靠重试变成对下游的持续压力。本课用两层速率限制把“单个 Worker 能跑多快”和“整个 Task Queue 能发多快”分开,并说明何时应该为数据库或第三方 API 建立独立 Activity Task Queue。

学习目标

  • 区分 Activity 并发上限、Worker 级速率限制与 Task Queue 级速率限制
  • 使用 Temporal Go SDK 同时限制单 Worker 和整条 Activity Task Queue 的吞吐
  • 通过滚动时间窗和下游指标验证限速,识别瞬时突发与重试放大

先选择要保护的边界

MaxConcurrentActivityExecutionSize 控制单个 Worker 同时执行多少个 Activity,适合保护本机线程、连接和内存;WorkerActivitiesPerSecond 控制单个 Worker 每秒执行 Activity 的速率;TaskQueueActivitiesPerSecond 由 Temporal 服务端控制整条 Task Queue 向所有 Worker 分发 Activity Task 的平均速率。

控制项 作用范围 典型用途
MaxConcurrentActivityExecutionSize 单 Worker 并发 限制连接数、内存和同时在途请求
WorkerActivitiesPerSecond 单 Worker 速率 防止单实例过快消费
TaskQueueActivitiesPerSecond 整个 Task Queue 给共享数据库或第三方 API 设置总速率预算

Task Queue 总限速与 Worker 本地限速的分层关系

配置本地与队列两层限速

下面仍使用已有 client.Client 变量 c,是 Worker 初始化中的片段示例。假设 payments-api 专门承载会调用脆弱支付接口的 Activity。

go
opts := worker.Options{
    // 每个 Worker 最多同时执行 20 个 Activity。
    MaxConcurrentActivityExecutionSize: 20,

    // 单 Worker 最多按 10 次/秒执行 Activity。
    WorkerActivitiesPerSecond: 10,

    // 整个 Task Queue 在所有 Worker 间共享约 15 次/秒的分发预算。
    TaskQueueActivitiesPerSecond: 15,

    MaxConcurrentActivityTaskPollers: 4,
}

activityWorker := worker.New(c, "payments-api", opts)

预期结果:即使启动两个相同 Worker,单实例仍各自受 10 次/秒限制,而 payments-api Task Queue 的 Activity Task 分发总速率还会受约 15 次/秒的队列级上限约束;最终实际吞吐取决于限速、并发槽位、任务耗时与下游能力中的最小瓶颈。

为脆弱依赖拆出专用队列

Task Queue 级限速作用于该队列里的所有 Activity,而不是某个函数名。若只有“扣款”需要限制为 15 次/秒,而“写审计日志”可以高速执行,就不要把两类 Activity 混在同一限速队列中;应让 Workflow 通过 Activity Options 把扣款 Activity 路由到 payments-api,并由专用 Worker 消费。

这种拆分还让容量预算更可解释:支付队列按第三方 API 配额设总速率,数据库队列按连接池和慢查询能力设并发,普通内部任务则可以使用独立队列和更宽松的参数。不同资源约束不再互相拖累,也更容易单独扩缩 Worker。

用滚动窗口验证而不是只看一秒

Task Queue 速率限制更适合作为长期平均分发约束,而不是“任意一秒绝不超过 N”的硬闸门。多分区 Task Queue 可能出现短时突发,因此验收时应在持续高于限额的压测下,统计 10 秒、60 秒等滚动窗口的 Activity 启动速率,同时观察 Schedule-to-Start、下游 429、数据库连接占用和错误率。

如果下游合同要求严格禁止瞬时突发,应在 Activity 调用前增加能跨 Worker 协调的严格限流机制,而不能只依赖 Task Queue 平均速率。还要注意 Activity 内部自行循环重试的每一次 HTTP 或 SQL 调用都发生在同一个 Activity Task 里,Temporal 的 Activity Task 限速不会自动逐次限制这些内部请求;这类重试也要纳入同一份下游速率预算。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

限制 Activity 与队列吞吐

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通