AI 内容创作 / 系统课时

批量任务与自动化编排

批量任务与自动化编排

《最后一帧》的 b04 与 b05 完成返工评审后,需要稳定地生成技术样片,并让剪辑确认每个片段使用的是哪一版参数。本课用本地合成色卡代替真实镜头,演示重复执行、部分失败后的续跑和技术验收。两个片段各 2 秒、48 帧,主片仍按项目约定为 60 秒、24 fps。

学习目标

  • 用稳定任务键绑定输入、工具版本与输出规格。
  • 通过暂存、验收与提交隔离未完成文件,避免把失败结果送给下游。
  • 从已提交的清单和媒体回读恢复批次,区分本地和远程任务重试。

编排模型

批量任务从参数表到交付清单的自动化编排流程

阶段 需要保存的信息
计划 镜头与版本、输入资产及摘要、提示词和参考、模型和参数、模板与输出规格
生成 任务键、尝试编号、工具与模型、远程任务 ID 或本地日志
转码 编码器与构建版本、媒体命令、待验收的暂存产物
复验 回读结果、文件摘要、失败原因、人工审片状态
提交 不可变产物及对应收据、明确可交付的候选版本

相同任务键重用已提交并验收的结果。修改源文件、模板、输出规格或验证逻辑时派生新任务键,保留旧候选用于追溯。相同种子未必能让远程模型返回相同字节,也不能保证重复调用不计费。保留批准结果的文件和清单,生成参数只用于追溯和有条件重做。

自动化实践

将脚本保存为 batch_pipeline.py,使用 Python 3.11 或以上及 PATH 中带 libx264 和 AAC 编码器的 ffmpeg、ffprobe,在一个专用工作目录执行。本例是单写者顺序执行。任务键使用镜头、色卡、规则版本与工具版本。真实项目还要加入源文件摘要和工具构建的固定标识。修改生成或验收逻辑时更新 pipeline 规则号。

先写同一文件系统的暂存目录,ffprobe 回读视频、音频和帧数,通过后计算摘要并写收据。最后将候选包目录整体重命名为任务键,使下游只读取提交目录。此示例验证正常本地运行和进程故障后的可见状态,机器掉电后的持久性还取决于存储和同步机制。 FFmpeg 命令文档 ffprobe 命令文档 Python 本地重命名说明

python
import hashlib
import json
import subprocess
from fractions import Fraction
from pathlib import Path
from tempfile import TemporaryDirectory


JOBS = [("b04", "0x203050"), ("b05", "0x805030")]
SPEC = {"pipeline": 1, "width": 320, "height": 180, "fps": 24,
        "seconds": 2, "audio_hz": 48000}


def tool(*args: str) -> str:
    result = subprocess.run(args, capture_output=True, text=True, timeout=45)
    if result.returncode != 0 or ("-v" in args and result.stderr.strip()):
        raise RuntimeError(f"{args[0]}: {result.stderr.strip()}")
    return result.stdout


def sha256(path: Path) -> str:
    with path.open("rb") as file:
        return hashlib.file_digest(file, "sha256").hexdigest()


def inspect(path: Path) -> None:
    data = json.loads(tool("ffprobe", "-v", "error", "-count_frames",
                           "-show_streams", "-of", "json", str(path)))
    video = [s for s in data["streams"] if s["codec_type"] == "video"]
    audio = [s for s in data["streams"] if s["codec_type"] == "audio"]
    if len(video) != 1 or len(audio) != 1 or len(data["streams"]) != 2:
        raise ValueError("unexpected stream layout")
    v, a = video[0], audio[0]
    if (v["codec_name"], v["pix_fmt"], v["width"], v["height"],
        Fraction(v["avg_frame_rate"]), int(v["nb_read_frames"]),
        a["codec_name"], int(a["sample_rate"]), a["channels"],
        Fraction(a["time_base"]) * int(a["duration_ts"])) != (
        "h264", "yuv420p", SPEC["width"], SPEC["height"], SPEC["fps"],
        SPEC["fps"] * SPEC["seconds"], "aac", SPEC["audio_hz"], 2, SPEC["seconds"],
    ):
        raise ValueError("media does not match the fixture spec")


def run_job(root: Path, shot: str, color: str, versions: dict) -> str:
    inputs = {"shot": shot, "color": color, "spec": SPEC, "tools": versions}
    key = hashlib.sha256(json.dumps(inputs, sort_keys=True).encode()).hexdigest()
    target = root / key
    if target.exists():
        receipt = json.loads((target / "receipt.json").read_text(encoding="utf-8"))
        if receipt != {"inputs": inputs, "sha256": sha256(target / "clip.mp4")}:
            raise ValueError(f"{shot}: quarantine the inconsistent cache entry")
        return "REUSE"

    w, h, fps, seconds, hz = (SPEC[k] for k in ("width", "height", "fps", "seconds", "audio_hz"))
    with TemporaryDirectory(prefix=".stage-", dir=root) as scratch:
        bundle = Path(scratch) / "bundle"
        bundle.mkdir()
        clip = bundle / "clip.mp4"
        tool("ffmpeg", "-nostdin", "-v", "error", "-f", "lavfi", "-i",
             f"color=c={color}:s={w}x{h}:r={fps}", "-f", "lavfi", "-i",
             f"anullsrc=r={hz}:cl=stereo", "-t", str(seconds), "-c:v", "libx264",
             "-pix_fmt", "yuv420p", "-c:a", "aac", str(clip))
        inspect(clip)
        receipt = {"inputs": inputs, "sha256": sha256(clip)}
        (bundle / "receipt.json").write_text(json.dumps(receipt, indent=2), encoding="utf-8")
        bundle.rename(target)
    return "BUILT"


def main() -> None:
    root = Path("last-frame-batch-demo")
    root.mkdir(exist_ok=True)
    versions = {name: tool(name, "-version") for name in ("ffmpeg", "ffprobe")}
    for shot, color in JOBS:
        print(shot, run_job(root, shot, color, versions))


if __name__ == "__main__":
    main()

连续执行两次 python batch_pipeline.py。首次构建两个片段,再次运行核对已提交收据和字节摘要后直接重用。

text
b04 BUILT
b05 BUILT
b04 REUSE
b05 REUSE

验收与故障处理

现象 恢复动作
b04 已提交,b05 的 FFmpeg 命令退出失败 保留 stderr;修正工具或输入后重跑。b04 的原任务仍可重用,b05 完成探测及摘要后才提交
临时目录仍在 先确认没有活跃写者,再按项目规则清理过期暂存。扫描候选时仅识别任务键目录与收据
候选存在但收据或文件有损坏 停止使用,隔离受影响目录后重试;保留失败证据
技术回读通过,动作却不连贯 将技术候选交回第 13-04 节的叙事及相邻镜头复验。平均帧率和总帧数也不足以证明任意来源视频恒定帧率,应按要求检查逐帧时间戳

生产队列可在持久化存储中记录 PENDING、RUNNING、FAILED 和 PASS,为同一任务键协调并发写入,给中断后状态加超时回收。若远程服务请求超时,先通过已保存的服务端任务 ID、状态查询或该服务明确支持的幂等键确认提交结果。若结果仍未知,保留待核状态并按计费约束处理。对明确的暂时失败可做有上限的退避重试;参数、许可或规格错误进入人工处理。

本课总结

任务键追踪生产条件,收据绑定验收和文件摘要。批次只有在所需任务都提交后才可进入总验收。

下一课预告

下一课从已批准的候选冻结交付包,并在干净目录验证备份恢复。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

批量任务与自动化编排

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通