编码与格式 / 系统课时

处理暂停、拖动与定位关键帧

处理暂停、拖动与定位关键帧

播放器收到暂停、恢复或拖动操作后,不能只修改播放按钮的状态。解复用位置、压缩包队列、解码器缓存和播放时钟必须配合调整,否则容易出现拖动后播放旧画面、音画不同步或恢复播放时突然跳帧的问题。本篇用一套可实现的状态机和 FFmpeg 示例说明处理方法。

学习目标

  • 区分暂停、恢复与 Seek 对播放器各组件的影响。
  • 理解关键帧定位、解码预滚和精确显示之间的关系。
  • 实现带队列失效、解码器清空和时钟重置的 Seek 处理逻辑。

定义播放状态与转换规则

播放器至少需要区分 PLAYING、PAUSED、SEEKING 和 ENDED。STOPPED 可表示尚未开始或资源已释放。Seek 是短暂操作状态,操作完成后应返回发起 Seek 前的播放意图,而不是无条件开始播放。

当前状态 用户操作 执行动作 操作完成后
PLAYING 暂停 冻结呈现时钟,停止音视频消费 PAUSED
PAUSED 恢复 重新建立时钟基准,继续消费 PLAYING
PLAYING Seek 失效旧数据,重新定位和解码 PLAYING
PAUSED Seek 重新定位并准备目标帧 PAUSED
PLAYING 播放结束 排空有效数据,停止时钟 ENDED
ENDED 重播 Seek 到起点并重建播放状态 PLAYING

播放器状态转换与暂停拖动路径

需要额外保存 playWhenReady 表示操作结束后是否继续播放。例如用户暂停后拖到 60 秒,播放器应准备 60 秒附近的正确视频帧,但音频保持静音、时钟不前进。连续拖动时只让最新目标生效,避免旧 Seek 完成后覆盖新结果。

暂停和恢复怎样处理时钟

暂停通常不需要移动解复用器,也不应清空解码器。已经解出的最后一帧可以留在画面上;解复用线程可暂时停止,或者只允许有限预缓冲,防止队列持续增长。

假设以单调时钟为基础,播放速度为 1 倍,使用秒作为统一单位。播放时媒体时钟可定义为:

P(t)=P0+(t−T0)P(t)=P_0+(t-T_0)

其中 P0P_0 是基准媒体时间,T0T_0 是对应的单调时钟时间。暂停时保存当前 P(t)P(t),恢复时将 T0T_0 更新为恢复瞬间的单调时间,并保持 P0P_0 为暂停位置。

例如 12.500 秒处暂停,墙上时间过去 8 秒再恢复,恢复瞬间媒体时钟仍应是 12.500 秒,而非 20.500 秒。使用音频作为主时钟的播放器,则需同时暂停音频设备,并在恢复时依据实际已播放样本或设备播放位置校正时钟,不能只按已提交音频字节计算进度。

Seek 为什么需要寻找关键帧

多数帧间压缩视频不能从任意 P 帧或 B 帧直接开始解码。播放器要先找到可用的随机访问点,解码依赖帧,再丢弃目标时间之前不需要显示的帧。普通容器中的关键帧标志也不一定意味着该位置完全独立可解码,因此实际起点要以编码格式和随机访问约束为准。

假设视频帧率为 25 fps,每 50 帧设置一个可独立访问的关键帧,关键帧间隔为 2 秒。用户请求跳到 7.300 秒时,可以先定位到 6.000 秒附近的有效随机访问点,再解码到目标附近。若按显示时间计算,第一帧时间不早于 7.300 秒的候选位置为 7.320 秒。

关键帧定位与精确Seek时间线

这个算例假设时间戳从零开始且帧间隔均匀。实际视频可能有 B 帧重排、可变帧率以及不规则时间戳,不能通过目标秒数直接推算精确帧号。判断显示位置应使用解码后帧的展示时间戳 PTS,而非仅根据压缩包读取顺序或 DTS。

工程中通常提供两种定位语义:快速 Seek 允许从附近关键帧显示,精确 Seek 则需要预滚解码,并按业务要求选择目标之前的最近帧、目标之后的第一帧或覆盖目标时刻的帧。必须在产品层确定语义,不能把定位到关键帧当作精确 Seek 成功。

清理旧队列并重新建立解码位置

一个常见播放器包含解复用线程、音视频包队列、解码线程、帧队列以及音视频输出设备。Seek 不能只改变读取位置,因为队列和解码器中仍有旧时间段的数据。

Seek期间各组件的数据失效与重建流程

推荐在播放器控制线程串行处理 Seek 命令,并为每次定位增加递增的 generation 编号。数据包、解码结果与输出任务关联所属代次,呈现前必须检查代次是否仍然有效。

  1. 收到目标时间与播放意图,生成新代次,立即阻止旧代次继续呈现。
  2. 协调工作线程停止使用旧数据;清空音视频包队列、视频帧队列和不再有效的音频输出缓冲。
  3. 将解复用器定位到目标附近的可解码起点,并分别清空相关音视频解码器的内部缓存。
  4. 重新送入音视频数据,完成目标之前必要的预滚解码;对于 B 帧,允许解码器输出经过重排后的展示帧。
  5. 根据实际可呈现的音频样本和视频帧建立新时钟基准。确认首批有效数据准备好之后,再允许输出设备消费新代次。
  6. 如果 Seek 前正在播放,则恢复播放;如果此前暂停,则保留目标帧并维持暂停。

线程屏障十分重要:旧解码任务可能在队列清空之后才返回。仅清空容器并不能取消正在执行的任务。实际工程应在任务完成、帧入队和最终呈现三个位置检查代次;清空音频设备前还需确认其 API 是否支持丢弃已排队但未播放的数据。

使用 FFmpeg 验证关键帧定位

以下示例使用 FFmpeg 6.x 或 7.x 的 libavformat 与 libavcodec C API,演示视频流的向后关键帧定位与解码器清空。它不是完整播放器;真正的多线程音视频同步还需要实现前面描述的队列失效和输出设备重置。

c
#include <stdio.h>
#include <stdint.h>
#include <libavformat/avformat.h>
#include <libavcodec/avcodec.h>
#include <libavutil/avutil.h>

int main(int argc, char **argv) {
    if (argc != 3) {
        fprintf(stderr, "usage: %s input.mp4 seconds\n", argv[0]);
        return 1;
    }
    AVFormatContext *fmt = NULL;
    AVCodecContext *dec = NULL;
    int result = 1;
    if (avformat_open_input(&fmt, argv[1], NULL, NULL) < 0) goto done;
    if (avformat_find_stream_info(fmt, NULL) < 0) goto done;

    int index = av_find_best_stream(fmt, AVMEDIA_TYPE_VIDEO, -1, -1, NULL, 0);
    if (index < 0) goto done;
    AVStream *stream = fmt->streams[index];
    const AVCodec *codec = avcodec_find_decoder(stream->codecpar->codec_id);
    if (!codec) goto done;
    dec = avcodec_alloc_context3(codec);
    if (!dec) goto done;
    if (avcodec_parameters_to_context(dec, stream->codecpar) < 0) goto done;
    if (avcodec_open2(dec, codec, NULL) < 0) goto done;

    // 将用户输入的秒数映射到该视频流的时间基。
    double seconds = 0.0;
    if (sscanf(argv[2], "%lf", &seconds) != 1 || seconds < 0) goto done;
    int64_t target = av_rescale_q((int64_t)(seconds * AV_TIME_BASE),
                                  AV_TIME_BASE_Q, stream->time_base);
    // BACKWARD请求向后寻找适当的关键帧位置,成功不等于精确显示。
    if (av_seek_frame(fmt, index, target, AVSEEK_FLAG_BACKWARD) < 0) {
        fprintf(stderr, "seek failed\n");
        goto done;
    }
    avcodec_flush_buffers(dec);
    printf("seek requested: %.3f seconds\n", seconds);
    printf("demuxer repositioned; decoder flushed\n");
    result = 0;
done:
    avcodec_free_context(&dec);
    avformat_close_input(&fmt);
    return result;
}

在装有 FFmpeg 开发头文件、libavformat、libavcodec、libavutil 和 pkg-config 的 Linux 环境执行:

bash
cc seek_demo.c -o seek_demo $(pkg-config --cflags --libs libavformat libavcodec libavutil)
./seek_demo sample.mp4 7.3

预期输出(文件包含可定位的视频流,且编译和 Seek 均成功):

text
seek requested: 7.300 seconds
demuxer repositioned; decoder flushed

这段程序只验证定位和解码器缓存清空操作,并没有输出定位后的真实首帧 PTS。av_seek_frame 的成功结果也不保证容器具有精确索引,更不保证用户界面显示的第一帧就是 7.300 秒。完整实现还需执行 av_read_frame、avcodec_send_packet、avcodec_receive_frame,对解码帧的 PTS 使用流时间基换算并执行目标帧筛选;解码器采用 send/receive API 时还需要正确处理 EAGAIN、解码延迟和结束排空。

验收暂停与连续拖动

准备一个 120 秒的测试视频,包含可识别的秒表画面和同步报时音频。使用播放器调试日志记录命令代次、请求目标、实际首帧 PTS、音频起播时间和当前播放状态。

测试动作 正确表现 重点检查
播放到12.5秒暂停8秒 画面静止、无音频继续输出 时钟不前进
暂停后Seek到60秒 显示目标附近正确帧,仍保持暂停 播放意图保留
播放中Seek到7.3秒 不闪回旧画面,目标附近恢复音画播放 队列和解码器清空
快速拖动到20、50、90秒 最终停在90秒对应位置 旧代次结果不覆盖新命令
Seek接近片尾 正常到达结束状态,无持续等待 EOF和解码排空

可为常规本地文件设定项目验收目标:Seek 后不出现任何旧代次画面;暂停 8 秒媒体时钟仍固定;稳定播放后音视频偏差尽量控制在 80 毫秒以内。该偏差是示例验收阈值,不是所有播放器或设备的统一标准,实际需结合设备时延、帧率及业务要求调整。

暂停只冻结消费与时钟;Seek 则必须让旧数据失效、寻找有效随机访问点、完成目标位置的预滚解码,并重建音视频时钟。用代次隔离异步任务,是避免连续拖动后出现过期画面的实用做法。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

处理暂停、拖动与定位关键帧

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通