命令行与文本处理 / 系统课时

控制并行与任务节流

控制并行与任务节流

批量处理主机、文件或接口时,真正的难点不是“让任务同时运行”,而是限制并发规模、控制等待时间、只重试可恢复失败,并让每条结果都能追溯到原始输入。本课将组合这些控制手段,构建一个可验证的并行任务模板。

学习目标

  • 使用 ForEach-Object -Parallel 和 -ThrottleLimit 限制同时运行的任务数
  • 为批次设置超时,并为单个任务实现有限次数重试
  • 在并行输出中保留输入标识,稳定关联成功、失败与重试次数

并发失控为什么危险

并发数越大并不代表完成得越快。每个并行任务都会占用运行空间、线程、内存、网络连接或远端会话;当并发超过本机或目标服务的承载能力时,常见结果是超时增多、限流触发、日志交错,甚至所有任务一起变慢。

-ThrottleLimit 表示同一时刻最多执行多少个并行脚本块,其余输入会等待空闲槽位。初始值应根据 CPU、内存、目标端限额和单任务耗时保守设置,再通过测量逐步调整,而不是直接等于输入总数。

并行任务的节流、重试与结果关联流程

构建可追踪的并行任务

下面的示例用可控的模拟任务演示节流、重试和结果关联。FailuresBeforeSuccess 用来模拟瞬时失败,脚本最多尝试 3 次;无论成功还是最终失败,都会返回结构一致的对象。

powershell
$tasks = @(
    [pscustomobject]@{ InputId = 'srv-01'; FailuresBeforeSuccess = 0; WorkMs = 200 }
    [pscustomobject]@{ InputId = 'srv-02'; FailuresBeforeSuccess = 1; WorkMs = 150 }
    [pscustomobject]@{ InputId = 'srv-03'; FailuresBeforeSuccess = 5; WorkMs = 100 }
)

$maxRetries = 3

$results = $tasks | ForEach-Object -Parallel {
    $task = $_
    $lastError = $null

    for ($attempt = 1; $attempt -le $using:maxRetries; $attempt++) {
        try {
            Start-Sleep -Milliseconds $task.WorkMs

            # 用确定条件模拟可重试的瞬时错误
            if ($attempt -le $task.FailuresBeforeSuccess) {
                throw 'simulated transient failure'
            }

            [pscustomobject]@{
                InputId = $task.InputId
                Success = $true
                Attempts = $attempt
                Message = 'completed'
            }
            return
        }
        catch {
            $lastError = $_.Exception.Message

            # 仅在仍有重试机会时执行线性退避
            if ($attempt -lt $using:maxRetries) {
                Start-Sleep -Milliseconds (100 * $attempt)
            }
        }
    }

    [pscustomobject]@{
        InputId = $task.InputId
        Success = $false
        Attempts = $using:maxRetries
        Message = $lastError
    }
} -ThrottleLimit 2 -TimeoutSeconds 30

$results |
    Sort-Object InputId |
    Format-Table InputId, Success, Attempts, Message -AutoSize

预期输出

text
InputId Success Attempts Message
------- ------- -------- -------
srv-01     True        1 completed
srv-02     True        2 completed
srv-03    False        3 simulated transient failure

并行任务的原始完成顺序不保证与输入顺序一致,因此示例先把结果收集到 $results,再按 InputId 排序。生产脚本应保留业务主键、文件路径或请求编号,而不要依赖输出位置进行关联。

正确认识超时和重试

-TimeoutSeconds 30 限制整个并行调用的总运行时间,不是每个输入对象独立获得 30 秒。批次被终止时,尚未完成的任务可能无法返回自定义结果对象;需要逐任务超时时,应同时使用目标命令自身的超时参数,或为每项任务建立可取消的作业。

重试只适合网络抖动、临时锁冲突、服务端限流等可恢复错误。参数错误、权限拒绝和数据格式错误通常不会因再次执行而消失。对写操作启用重试前,还必须确认操作具备幂等性,或使用请求 ID 防止重复创建资源。

选择合理的节流值

CPU 密集型任务通常从接近逻辑处理器数量的并发开始测试;网络或远程调用可以适当更高,但不能超过连接池、远端 API 配额或 WinRM 限制。每次调整后,应比较总耗时、失败率、CPU、内存和远端限流响应,而不是只观察任务是否“跑起来”。

当输入数量很大时,建议分批提交并持续落盘结果。这样即使批次超时或进程退出,也能从最后一个已确认输入继续,而不必重新执行全部任务。

常见错误

把 ThrottleLimit 设置为输入总数,会把排队压力转化为资源争抢。另一个常见错误是在并行脚本块中直接修改外层普通变量;运行空间彼此隔离,应该返回对象后统一汇总,或使用专门的线程安全集合。

还要避免对所有异常无差别重试。至少应记录错误类型、尝试次数和输入标识,并为重试设置上限与退避间隔,否则故障期间会形成持续放大的请求风暴。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

控制并行与任务节流

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通