AI 内容创作 / 系统课时

时延、同步与显存故障排查

时延、同步与显存故障排查

本课把数字人系统中容易相互掩盖的四类故障放进同一条证据链:先用 trace_id 定位关键路径,再分别检查时间戳、队列等待、显存峰值和模型制品,最终形成可重复的修复与回归验证方法。

学习目标

  • 能够依据链路日志拆分端到端时延,并识别排队、计算、传输和播放缓冲瓶颈。
  • 能够使用统一时间基准定位音画偏移,并区分丢帧、等待和时间戳错误。
  • 能够排查显存溢出与模型加载失败,完成修复后的压力回归和资源验证。

故障定位总路径

不要从反复重启服务开始排障。先固定请求、模型、角色和配置版本,再以 trace_id 与 generation_id 串联客户端、会话服务、AI 模块、渲染器和播放器。只有证据处于同一代生成任务中,阶段耗时和音画偏移才具有可比性。

现象 第一证据 重点责任域
首次响应慢 各阶段 start_time、end_time、队列长度 ASR、对话首字、TTS 首包、冷加载
播放卡顿 帧间隔、缓冲深度、丢帧数、网络抖动 渲染、编码、网络、播放器
音画不同步 音频 PTS、视频 PTS、统一时钟 驱动、编码、播放器
显存溢出 已分配显存、保留显存、活跃任务数 模型、批处理、帧缓存、生命周期
模型加载失败 文件路径、权限、哈希、格式、设备能力 制品管理、容器挂载、运行环境

时延同步与显存故障排查流程

按症状拆解根因

时延与卡顿

端到端时延以客户端同一单调时钟测量。分别记录排队、模型、传输、编码、播放缓冲,并按关键路径找出先后与重叠。同一批请求再比较 p50、p95 和 p99,报告样本数、失败数、版本和并发。只在必要的诊断路径使用 GPU 同步或 CUDA Event 测量计算区间,异步提交耗时只反映调用方等待到提交返回。PyTorch CUDA 语义

首帧慢但后续流畅,通常优先检查模型冷加载、对话首字和 TTS 首包;周期性卡顿则更可能来自批处理等待、渲染帧耗时波动、编码阻塞或客户端缓冲耗尽。修复后必须在相同输入、相同并发和相同模型版本下重新测量。

音画不同步

本课沿用第 13 章约定。在同一代、同一个配对事件上,分别将音频与视频的 PTS 乘以各自 time_base(秒/计数),再映射到共同媒体起点。定义 偏差 = 画面事件时间 - 音频事件时间。正值代表画面事件晚,负值代表画面事件早。例:共同起点下,55_200 × 1/48_000 = 1.15 s,115_650 × 1/90_000 = 1.285 s,画面晚 135 ms。PTS 是计划呈现的媒体时间,实际播放还受网络、解码和缓冲影响;测量实际差值时应观测同一客户端的播放事件。缺时间戳、缺配对或跨代时应记录缺失。FFmpeg AVPacket 时间戳

若画面持续晚,检查配对起点、渲染生产、编码和接收缓冲。若偏差随播放时间持续变化,再查采样率和时钟漂移。按呈现顺序分析 PTS,避免把有 B 帧时的解码顺序当成呈现顺序。播放器可按策略等待、追赶或丢弃过期帧,并记录纠偏量。

显存溢出与模型加载失败

显存溢出可能由冷启动、动态批量、旧任务仍运行或张量及渲染缓存未释放造成。PyTorch 的 memory_allocated() 统计当前进程里张量占用,memory_reserved() 统计其缓存分配器管理量。GPU 设备级总显存使用还包含其他进程和 CUDA 开销;分配器保留量与活跃张量用量的差额也可能是正常缓存。empty_cache() 只释放未用缓存,无法释放活跃张量。观测尖峰应保留峰值与采样范围,多进程和多卡分别统计。PyTorch CUDA 内存管理 · NVIDIA nvidia-smi

模型加载失败应按“路径存在性 → 读取权限 → 文件哈希 → 序列化格式 → 精度与设备兼容性 → 初始化显存”顺序检查。修复后至少完成一次冷启动、一次模型切换和多轮会话释放,确认显存回到稳定基线且加载结果可重复。

用脚本汇总关键证据

这里用分类型 JSONL 保存观测。阶段记录来自同一个 trace_id 与 generation_id;音画记录表示同一语音事件的配对;显存和制品记录只与这次运行的观测窗相关。生产中按版本、设备与观测窗分组,再汇总多个请求的阶段分布。

保存以下数据为 metrics.jsonl。

jsonl
{"kind":"stage","stage":"asr","ms":180}
{"kind":"stage","stage":"dialogue","ms":920}
{"kind":"stage","stage":"tts","ms":330}
{"kind":"stage","stage":"render","ms":280}
{"kind":"av","audio":[55200,1,48000],"video":[115650,1,90000]}
{"kind":"av","audio":[96000,1,48000],"video":[174600,1,90000]}
{"kind":"gpu","device":"GPU-demo","allocated_mib":7600,"reserved_mib":8100,"total_mib":8192}
{"kind":"load","status":"checksum_mismatch"}

保存以下代码为 diagnose.py。

python
import json
import math
import sys
from collections import defaultdict
from fractions import Fraction
from pathlib import Path

LIMITS = {"asr": 300, "dialogue": 700, "tts": 400, "render": 250}


def pts_seconds(stamp):
    pts, numerator, denominator = stamp
    if type(pts) is not int or type(numerator) is not int or type(denominator) is not int:
        raise ValueError("PTS and time base must be integers")
    if numerator <= 0 or denominator <= 0:
        raise ValueError("time base must be positive")
    return Fraction(pts * numerator, denominator)


def report(records):
    stages = defaultdict(list)
    offsets = []
    devices = defaultdict(list)
    load_events = []
    for row in records:
        kind = row["kind"]
        if kind == "stage":
            value = float(row["ms"])
            if not math.isfinite(value) or value < 0:
                raise ValueError("invalid stage duration")
            stages[row["stage"]].append(value)
        elif kind == "av":
            if row["audio"] is not None and row["video"] is not None:
                offsets.append(1000 * (pts_seconds(row["video"]) - pts_seconds(row["audio"])))
        elif kind == "gpu":
            allocated, reserved, total = (row[name] for name in ("allocated_mib", "reserved_mib", "total_mib"))
            if not 0 <= allocated <= reserved <= total or total <= 0:
                raise ValueError("invalid GPU counters")
            devices[row["device"]].append((allocated, reserved, total))
        elif kind == "load":
            load_events.append(row["status"])

    for stage, limit in LIMITS.items():
        values = sorted(stages[stage])
        if not values:
            print(f"{stage}: no data")
            continue
        p95 = values[math.ceil(len(values) * 0.95) - 1]
        print(f"{stage}: p95={p95:.1f} ms n={len(values)} {'SLOW' if p95 > limit else 'OK'}")
    if offsets:
        worst = max(offsets, key=abs)
        direction = "video late" if worst > 0 else "video early" if worst < 0 else "aligned"
        print(f"AV: worst={float(worst):+.1f} ms ({direction}), n={len(offsets)}")
    else:
        print("AV: no paired data")
    for device, samples in sorted(devices.items()):
        allocated, reserved, total = max(samples, key=lambda sample: sample[0] / sample[2])
        print(f"{device}: allocated={allocated}/{total} MiB ({allocated / total:.1%}), reserved={reserved} MiB")
    if not devices:
        print("GPU: no data")
    failures = sorted({status for status in load_events if status != "ok"})
    print("Load:", ", ".join(failures) if failures else "ok" if load_events else "no data")


if __name__ == "__main__":
    if len(sys.argv) != 2:
        raise SystemExit("usage: python diagnose.py <metrics.jsonl>")
    with Path(sys.argv[1]).open(encoding="utf-8") as source:
        report(json.loads(line) for line in source if line.strip())
bash
python diagnose.py metrics.jsonl
text
asr: p95=180.0 ms n=1 OK
dialogue: p95=920.0 ms n=1 SLOW
tts: p95=330.0 ms n=1 OK
render: p95=280.0 ms n=1 SLOW
AV: worst=+135.0 ms (video late), n=2
GPU-demo: allocated=7600/8192 MiB (92.8%), reserved=8100 MiB
Load: checksum_mismatch

此处每个阶段只有 1 个值,p95 等于这个值;只能演示诊断口径。设备记录须来自同一进程分配器或已经正确聚合的同一统计范围。92.8% 是所选采样点的张量占用比,若要确认显存不足,结合设备用量、缓存、其他进程与 OOM 事件。制品哈希错误独立处理,即使同一窗口有旧模型完成请求也应检查加载链路。

验证闭环、常见错误与练习

常见错误 为什么无效 正确验证
只看平均时延 平均值会掩盖长尾卡顿 同时比较 p50、p95、p99 和慢请求明细
混用不同时间基准的 PTS 原始数值的单位与起点不同 用各自 time_base 换算后对齐媒体起点,实际播放用同端时钟观测
OOM 后只清缓存 活跃对象和并发峰值仍然存在 查找引用、取消旧任务并重复多轮会话
替换模型文件后直接上线 路径正确不代表内容与格式正确 校验哈希、冷加载、推理和释放全过程

练习 1:补充队列等待诊断

任务目标是区分“模型计算慢”和“请求排队久”。在指标文件中加入 queue_wait_ms,修改脚本输出最大值与 p95。验收条件是能对超过自定义阈值的队列等待输出 SLOW,且原有诊断结果保持不变。

练习 2:设计同步与显存回归

准备正常、视频落后、视频超前和显存持续增长四组记录。要求定义每组的通过条件,并连续执行至少三轮加载、生成、取消和释放。验收时应能指出失败发生在哪一阶段,而不是只给出“系统卡顿”的结论。

本课总结

  • 故障排查应先固定版本并建立同一 trace_id、同一 generation_id 下的完整证据链。
  • 时延、同步和显存问题必须分别量化,不能通过重启、加缓冲或清缓存掩盖根因。
  • 修复完成的标准是相同负载下指标恢复、资源回落稳定,并通过冷启动与多轮回归。

下一课预告

下一课将进入“压测、灰度发布与项目复盘”,把单请求诊断扩展到并发容量、上线门槛、回滚演练和可追踪的工程改进闭环。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

时延、同步与显存故障排查

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通