命令行与文本处理 / 系统课时
控制并行与任务节流
控制并行与任务节流
批量处理主机、文件或接口时,真正的难点不是“让任务同时运行”,而是限制并发规模、控制等待时间、只重试可恢复失败,并让每条结果都能追溯到原始输入。本课将组合这些控制手段,构建一个可验证的并行任务模板。
学习目标
- 使用
ForEach-Object -Parallel和-ThrottleLimit限制同时运行的任务数 - 为批次设置超时,并为单个任务实现有限次数重试
- 在并行输出中保留输入标识,稳定关联成功、失败与重试次数
并发失控为什么危险
并发数越大并不代表完成得越快。每个并行任务都会占用运行空间、线程、内存、网络连接或远端会话;当并发超过本机或目标服务的承载能力时,常见结果是超时增多、限流触发、日志交错,甚至所有任务一起变慢。
-ThrottleLimit 表示同一时刻最多执行多少个并行脚本块,其余输入会等待空闲槽位。初始值应根据 CPU、内存、目标端限额和单任务耗时保守设置,再通过测量逐步调整,而不是直接等于输入总数。

构建可追踪的并行任务
下面的示例用可控的模拟任务演示节流、重试和结果关联。FailuresBeforeSuccess 用来模拟瞬时失败,脚本最多尝试 3 次;无论成功还是最终失败,都会返回结构一致的对象。
$tasks = @(
[pscustomobject]@{ InputId = 'srv-01'; FailuresBeforeSuccess = 0; WorkMs = 200 }
[pscustomobject]@{ InputId = 'srv-02'; FailuresBeforeSuccess = 1; WorkMs = 150 }
[pscustomobject]@{ InputId = 'srv-03'; FailuresBeforeSuccess = 5; WorkMs = 100 }
)
$maxRetries = 3
$results = $tasks | ForEach-Object -Parallel {
$task = $_
$lastError = $null
for ($attempt = 1; $attempt -le $using:maxRetries; $attempt++) {
try {
Start-Sleep -Milliseconds $task.WorkMs
# 用确定条件模拟可重试的瞬时错误
if ($attempt -le $task.FailuresBeforeSuccess) {
throw 'simulated transient failure'
}
[pscustomobject]@{
InputId = $task.InputId
Success = $true
Attempts = $attempt
Message = 'completed'
}
return
}
catch {
$lastError = $_.Exception.Message
# 仅在仍有重试机会时执行线性退避
if ($attempt -lt $using:maxRetries) {
Start-Sleep -Milliseconds (100 * $attempt)
}
}
}
[pscustomobject]@{
InputId = $task.InputId
Success = $false
Attempts = $using:maxRetries
Message = $lastError
}
} -ThrottleLimit 2 -TimeoutSeconds 30
$results |
Sort-Object InputId |
Format-Table InputId, Success, Attempts, Message -AutoSize预期输出
InputId Success Attempts Message
------- ------- -------- -------
srv-01 True 1 completed
srv-02 True 2 completed
srv-03 False 3 simulated transient failure并行任务的原始完成顺序不保证与输入顺序一致,因此示例先把结果收集到 $results,再按 InputId 排序。生产脚本应保留业务主键、文件路径或请求编号,而不要依赖输出位置进行关联。
正确认识超时和重试
-TimeoutSeconds 30 限制整个并行调用的总运行时间,不是每个输入对象独立获得 30 秒。批次被终止时,尚未完成的任务可能无法返回自定义结果对象;需要逐任务超时时,应同时使用目标命令自身的超时参数,或为每项任务建立可取消的作业。
重试只适合网络抖动、临时锁冲突、服务端限流等可恢复错误。参数错误、权限拒绝和数据格式错误通常不会因再次执行而消失。对写操作启用重试前,还必须确认操作具备幂等性,或使用请求 ID 防止重复创建资源。
选择合理的节流值
CPU 密集型任务通常从接近逻辑处理器数量的并发开始测试;网络或远程调用可以适当更高,但不能超过连接池、远端 API 配额或 WinRM 限制。每次调整后,应比较总耗时、失败率、CPU、内存和远端限流响应,而不是只观察任务是否“跑起来”。
当输入数量很大时,建议分批提交并持续落盘结果。这样即使批次超时或进程退出,也能从最后一个已确认输入继续,而不必重新执行全部任务。
常见错误
把 ThrottleLimit 设置为输入总数,会把排队压力转化为资源争抢。另一个常见错误是在并行脚本块中直接修改外层普通变量;运行空间彼此隔离,应该返回对象后统一汇总,或使用专门的线程安全集合。
还要避免对所有异常无差别重试。至少应记录错误类型、尝试次数和输入标识,并为重试设置上限与退避间隔,否则故障期间会形成持续放大的请求风暴。