服务注册与分布式协调 / 系统课时

控制参数与事件历史体积

控制参数与事件历史体积

Temporal 会把影响 Workflow 重放的外部事实写入事件历史。参数、Activity 结果、Signal 等内容如果过大或过于频繁,会直接增加持久化、传输与重放成本。本课的目标是把业务数据与编排状态分离,让长流程只在历史中保留“足够重放”的最小信息。

学习目标

  • 判断哪些数据会进入 Workflow Event History,哪些只是运行时内存状态
  • 用业务 ID、对象存储键和游标替代大对象、二进制内容与重复快照
  • 通过分批处理和 Continue-As-New 控制长期运行 Workflow 的历史增长

先看清历史为什么会变大

Workflow 的局部变量不是每次赋值都会单独写入历史。真正推动历史增长的是可重放的外部事件,例如 Workflow 启动参数、Activity 调度与完成、Timer、Signal、Child Workflow 以及显式记录的状态变更。

因此,“状态很多”不一定等于“历史很大”;危险的是把大 Payload 反复放进这些事件。例如把一个大文件作为 Workflow 参数,再把同一内容传给 Activity 并作为结果返回,会让同一份数据在历史链路中重复出现,甚至直接触碰当前部署的 Payload 限制。

Workflow 参数、Activity 与事件历史之间的数据体积关系

参数只传编排需要的最小事实

Workflow 参数应该描述“要编排什么”,而不是携带“业务对象的完整副本”。对于文件、图片、模型输入、大型 JSON 或批量记录,优先把内容放在数据库或对象存储中,Workflow 只保存稳定引用。

不推荐 更稳妥
DocumentBytes []byte DocumentKey string
完整订单 JSON OrderID string
已处理全部明细列表 LastProcessedID string
每轮都传完整状态快照 传游标、计数器和必要版本号

下面是一个 Go SDK 的片段示例。它只展示参数设计方式,依赖现有 Temporal Worker、Activity 注册和业务存储,不是独立程序。

go
type BatchWorkflowInput struct {
    BatchID      string
    ManifestKey  string
    NextOffset   int
    SchemaVersion int
}

type BatchResult struct {
    Processed int
    Failed    int
}

// 大文件内容由 Activity 根据 ManifestKey 读取,
// Workflow 历史只保留稳定引用和少量进度信息。
func BatchWorkflow(ctx workflow.Context, in BatchWorkflowInput) (BatchResult, error) {
    ao := workflow.ActivityOptions{
        StartToCloseTimeout: 2 * time.Minute,
    }
    ctx = workflow.WithActivityOptions(ctx, ao)

    var result BatchResult
    err := workflow.ExecuteActivity(
        ctx,
        ProcessBatchActivity,
        in.ManifestKey,
        in.NextOffset,
    ).Get(ctx, &result)
    return result, err
}

验证时不要只看业务结果是否正确,还要在 Temporal Web 或服务端可观测数据中检查单次历史的事件数量、历史体积以及重放耗时。若业务数据已经存放在外部系统,Workflow History 中通常只需要能够重新定位它的键和版本。

避免用事件历史充当业务数据库

Signal 很适合把外部事件可靠地送入 Workflow,但如果上游每秒发送大量细粒度状态,历史会持续增长。更稳妥的方式是让上游先聚合,或者 Signal 只传“有新数据可处理”的引用,再由 Activity 从外部存储读取当前批次。

同样,不要为了查询进度而持续发送 Signal。只读观察优先使用 Query;需要审计的业务事实再通过 Signal、Update 或 Activity 结果进入 Workflow 语义。这样可以把“观察流量”与“状态变更”分开。

长流程用 Continue-As-New 切断增长

只减少单个 Payload 还不够。一个持续数天、处理数十万项任务的 Workflow,即使每个事件都很小,事件数量也会不断积累。此时应按业务批次切分,并在适当位置 Continue-As-New。

Continue-As-New 会结束当前 Run,并以新的输入启动同一 Workflow 的新 Run;新 Run 获得新的事件历史,同时与原执行链保持关联。传入新 Run 的参数仍然应该只包含最小续跑状态。

go
// 片段示例:每处理一批后,用最小游标开始新的 Run。
if processedInThisRun >= batchLimit {
    next := BatchWorkflowInput{
        BatchID:       in.BatchID,
        ManifestKey:   in.ManifestKey,
        NextOffset:    nextOffset,
        SchemaVersion: in.SchemaVersion,
    }
    return BatchResult{}, workflow.NewContinueAsNewError(ctx, BatchWorkflow, next)
}

不要把平台的硬限制当成正常运行阈值。更好的策略是在压测环境中观察历史增长速度和重放时间,再选择远低于限制的业务批次;服务端或 Temporal Cloud 的具体限制可能随部署和版本不同,应以当前环境配置为准。

用体积预算验收设计

上线前可以给 Workflow 建一个简单预算:启动参数保持在 KB 级,Activity 只返回编排真正需要的摘要,Signal 不携带可从外部存储重新读取的大对象,长循环按固定批次 Continue-As-New。

当历史中留下的是 ID、游标、版本和少量结果摘要,而不是文件、完整对象和高频快照时,Workflow 才更容易保持稳定的重放时间,并为长期运行预留足够空间。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

控制参数与事件历史体积

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通