AI 内容创作 / 系统课时
批量任务与自动化编排
批量任务与自动化编排
《最后一帧》的 b04 与 b05 完成返工评审后,需要稳定地生成技术样片,并让剪辑确认每个片段使用的是哪一版参数。本课用本地合成色卡代替真实镜头,演示重复执行、部分失败后的续跑和技术验收。两个片段各 2 秒、48 帧,主片仍按项目约定为 60 秒、24 fps。
学习目标
- 用稳定任务键绑定输入、工具版本与输出规格。
- 通过暂存、验收与提交隔离未完成文件,避免把失败结果送给下游。
- 从已提交的清单和媒体回读恢复批次,区分本地和远程任务重试。
编排模型

| 阶段 | 需要保存的信息 |
|---|---|
| 计划 | 镜头与版本、输入资产及摘要、提示词和参考、模型和参数、模板与输出规格 |
| 生成 | 任务键、尝试编号、工具与模型、远程任务 ID 或本地日志 |
| 转码 | 编码器与构建版本、媒体命令、待验收的暂存产物 |
| 复验 | 回读结果、文件摘要、失败原因、人工审片状态 |
| 提交 | 不可变产物及对应收据、明确可交付的候选版本 |
相同任务键重用已提交并验收的结果。修改源文件、模板、输出规格或验证逻辑时派生新任务键,保留旧候选用于追溯。相同种子未必能让远程模型返回相同字节,也不能保证重复调用不计费。保留批准结果的文件和清单,生成参数只用于追溯和有条件重做。
自动化实践
将脚本保存为 batch_pipeline.py,使用 Python 3.11 或以上及 PATH 中带 libx264 和 AAC 编码器的 ffmpeg、ffprobe,在一个专用工作目录执行。本例是单写者顺序执行。任务键使用镜头、色卡、规则版本与工具版本。真实项目还要加入源文件摘要和工具构建的固定标识。修改生成或验收逻辑时更新 pipeline 规则号。
先写同一文件系统的暂存目录,ffprobe 回读视频、音频和帧数,通过后计算摘要并写收据。最后将候选包目录整体重命名为任务键,使下游只读取提交目录。此示例验证正常本地运行和进程故障后的可见状态,机器掉电后的持久性还取决于存储和同步机制。 FFmpeg 命令文档 ffprobe 命令文档 Python 本地重命名说明
import hashlib
import json
import subprocess
from fractions import Fraction
from pathlib import Path
from tempfile import TemporaryDirectory
JOBS = [("b04", "0x203050"), ("b05", "0x805030")]
SPEC = {"pipeline": 1, "width": 320, "height": 180, "fps": 24,
"seconds": 2, "audio_hz": 48000}
def tool(*args: str) -> str:
result = subprocess.run(args, capture_output=True, text=True, timeout=45)
if result.returncode != 0 or ("-v" in args and result.stderr.strip()):
raise RuntimeError(f"{args[0]}: {result.stderr.strip()}")
return result.stdout
def sha256(path: Path) -> str:
with path.open("rb") as file:
return hashlib.file_digest(file, "sha256").hexdigest()
def inspect(path: Path) -> None:
data = json.loads(tool("ffprobe", "-v", "error", "-count_frames",
"-show_streams", "-of", "json", str(path)))
video = [s for s in data["streams"] if s["codec_type"] == "video"]
audio = [s for s in data["streams"] if s["codec_type"] == "audio"]
if len(video) != 1 or len(audio) != 1 or len(data["streams"]) != 2:
raise ValueError("unexpected stream layout")
v, a = video[0], audio[0]
if (v["codec_name"], v["pix_fmt"], v["width"], v["height"],
Fraction(v["avg_frame_rate"]), int(v["nb_read_frames"]),
a["codec_name"], int(a["sample_rate"]), a["channels"],
Fraction(a["time_base"]) * int(a["duration_ts"])) != (
"h264", "yuv420p", SPEC["width"], SPEC["height"], SPEC["fps"],
SPEC["fps"] * SPEC["seconds"], "aac", SPEC["audio_hz"], 2, SPEC["seconds"],
):
raise ValueError("media does not match the fixture spec")
def run_job(root: Path, shot: str, color: str, versions: dict) -> str:
inputs = {"shot": shot, "color": color, "spec": SPEC, "tools": versions}
key = hashlib.sha256(json.dumps(inputs, sort_keys=True).encode()).hexdigest()
target = root / key
if target.exists():
receipt = json.loads((target / "receipt.json").read_text(encoding="utf-8"))
if receipt != {"inputs": inputs, "sha256": sha256(target / "clip.mp4")}:
raise ValueError(f"{shot}: quarantine the inconsistent cache entry")
return "REUSE"
w, h, fps, seconds, hz = (SPEC[k] for k in ("width", "height", "fps", "seconds", "audio_hz"))
with TemporaryDirectory(prefix=".stage-", dir=root) as scratch:
bundle = Path(scratch) / "bundle"
bundle.mkdir()
clip = bundle / "clip.mp4"
tool("ffmpeg", "-nostdin", "-v", "error", "-f", "lavfi", "-i",
f"color=c={color}:s={w}x{h}:r={fps}", "-f", "lavfi", "-i",
f"anullsrc=r={hz}:cl=stereo", "-t", str(seconds), "-c:v", "libx264",
"-pix_fmt", "yuv420p", "-c:a", "aac", str(clip))
inspect(clip)
receipt = {"inputs": inputs, "sha256": sha256(clip)}
(bundle / "receipt.json").write_text(json.dumps(receipt, indent=2), encoding="utf-8")
bundle.rename(target)
return "BUILT"
def main() -> None:
root = Path("last-frame-batch-demo")
root.mkdir(exist_ok=True)
versions = {name: tool(name, "-version") for name in ("ffmpeg", "ffprobe")}
for shot, color in JOBS:
print(shot, run_job(root, shot, color, versions))
if __name__ == "__main__":
main()连续执行两次 python batch_pipeline.py。首次构建两个片段,再次运行核对已提交收据和字节摘要后直接重用。
b04 BUILT
b05 BUILT
b04 REUSE
b05 REUSE验收与故障处理
| 现象 | 恢复动作 |
|---|---|
| b04 已提交,b05 的 FFmpeg 命令退出失败 | 保留 stderr;修正工具或输入后重跑。b04 的原任务仍可重用,b05 完成探测及摘要后才提交 |
| 临时目录仍在 | 先确认没有活跃写者,再按项目规则清理过期暂存。扫描候选时仅识别任务键目录与收据 |
| 候选存在但收据或文件有损坏 | 停止使用,隔离受影响目录后重试;保留失败证据 |
| 技术回读通过,动作却不连贯 | 将技术候选交回第 13-04 节的叙事及相邻镜头复验。平均帧率和总帧数也不足以证明任意来源视频恒定帧率,应按要求检查逐帧时间戳 |
生产队列可在持久化存储中记录 PENDING、RUNNING、FAILED 和 PASS,为同一任务键协调并发写入,给中断后状态加超时回收。若远程服务请求超时,先通过已保存的服务端任务 ID、状态查询或该服务明确支持的幂等键确认提交结果。若结果仍未知,保留待核状态并按计费约束处理。对明确的暂时失败可做有上限的退避重试;参数、许可或规格错误进入人工处理。
本课总结
任务键追踪生产条件,收据绑定验收和文件摘要。批次只有在所需任务都提交后才可进入总验收。
下一课预告
下一课从已批准的候选冻结交付包,并在干净目录验证备份恢复。