编码与格式 / 系统课时

实现媒体转换器

实现媒体转换器

本课把读取、解码、格式转换、编码和封装串成一个可落地的媒体转换流程。完成后,你将能明确每个 FFmpeg 对象的职责,并用统一主循环生成 H.264、AAC 封装的 MP4 文件。

学习目标

  • 组织解复用、解码、转换、编码和复用的完整调用顺序
  • 正确处理视频像素、音频采样以及时间戳换算
  • 通过 ffprobe 验证输出流、编码格式和基础参数

明确转换器的最小闭环

媒体转换不是把输入包直接交给输出容器,而是先把压缩数据还原成原始帧,再转换成目标编码器可接受的格式。视频通常经过 AVPacket → AVFrame → SwsContext → AVFrame → AVPacket,音频则通过 SwrContext 完成采样率、采样格式和声道布局转换。

媒体转换器处理链路

初始化阶段应先打开输入并读取流信息,再分别创建解码器、转换上下文和编码器,最后创建输出容器与输出流。只有输出流参数已经从编码器复制完成后,才能调用 avformat_write_header 写入文件头。

组织视频处理主循环

下面是视频支路的核心片段。它依赖已经初始化好的输入流、解码器、编码器、SwsContext、目标帧和输出流,因此不能独立编译;它展示的是主循环中最容易出错的发送、接收、时间戳换算与写包顺序。

cpp
// 片段示例:依赖已完成的 FFmpeg 上下文初始化。
static int writeEncodedPackets(
    AVCodecContext* encoder,
    AVFormatContext* outputFormat,
    AVStream* outputStream,
    AVPacket* encodedPacket) {
    while (true) {
        int ret = avcodec_receive_packet(encoder, encodedPacket);
        if (ret == AVERROR(EAGAIN) || ret == AVERROR_EOF) {
            return 0;
        }
        if (ret < 0) {
            return ret;
        }

        // 编码器与输出流可能使用不同时间基,写入前必须换算。
        av_packet_rescale_ts(
            encodedPacket,
            encoder->time_base,
            outputStream->time_base);
        encodedPacket->stream_index = outputStream->index;

        ret = av_interleaved_write_frame(outputFormat, encodedPacket);
        av_packet_unref(encodedPacket);
        if (ret < 0) {
            return ret;
        }
    }
}

static int transcodeVideoPacket(
    AVPacket* inputPacket,
    AVCodecContext* decoder,
    AVCodecContext* encoder,
    AVStream* inputStream,
    AVStream* outputStream,
    SwsContext* scaler,
    AVFrame* decodedFrame,
    AVFrame* convertedFrame,
    AVPacket* encodedPacket,
    AVFormatContext* outputFormat,
    int64_t& fallbackPts) {
    int ret = avcodec_send_packet(decoder, inputPacket);
    if (ret < 0) {
        return ret;
    }

    while ((ret = avcodec_receive_frame(decoder, decodedFrame)) >= 0) {
        ret = av_frame_make_writable(convertedFrame);
        if (ret < 0) {
            return ret;
        }

        // 把解码后的像素数据转换为编码器要求的尺寸和像素格式。
        sws_scale(
            scaler,
            decodedFrame->data,
            decodedFrame->linesize,
            0,
            decoder->height,
            convertedFrame->data,
            convertedFrame->linesize);

        const int64_t sourcePts = decodedFrame->best_effort_timestamp;
        convertedFrame->pts = sourcePts == AV_NOPTS_VALUE
            ? fallbackPts++
            : av_rescale_q(
                sourcePts,
                inputStream->time_base,
                encoder->time_base);

        ret = avcodec_send_frame(encoder, convertedFrame);
        if (ret < 0) {
            return ret;
        }

        ret = writeEncodedPackets(
            encoder,
            outputFormat,
            outputStream,
            encodedPacket);
        if (ret < 0) {
            return ret;
        }
    }

    return ret == AVERROR(EAGAIN) || ret == AVERROR_EOF ? 0 : ret;
}

avcodec_send_packet 和 avcodec_receive_frame 是一对生产者与消费者调用,返回 EAGAIN 不代表失败,而是提示先消费另一侧数据。输入结束后还要向解码器发送空包,再向编码器发送空帧,直到双方返回 AVERROR_EOF,否则最后几帧会留在内部缓冲区。

处理音频与时间戳

音频编码器常要求固定的 frame_size,但重采样器每次产生的样本数可能不同。稳妥做法是把 swr_convert 的输出先写入 AVAudioFifo,当 FIFO 中样本数达到编码器帧长时,再取出一帧送入编码器。

音频时间戳不要直接照搬输入包的时间戳,而应按已经送入编码器的累计样本数生成。若编码器时间基为 1 / sample_rate,每编码一帧后将累计值增加该帧的 nb_samples,即可得到连续且单调递增的 PTS。

完成封装与资源收尾

所有音视频帧写完后,调用 av_write_trailer 写入容器尾部索引。资源释放顺序应与创建顺序大致相反:释放包和帧、转换上下文、编解码器上下文、输入格式上下文,最后关闭输出 AVIOContext 并释放输出格式上下文。

写包统一使用 av_interleaved_write_frame,让复用器按 DTS 对不同流重新交错。若直接使用 av_write_frame,调用方必须自行保证音视频包已经按正确顺序排列。

运行与验收

假设最终程序名为 media-converter,目标固定为 H.264、YUV420P、AAC、48 kHz,且输入文件同时包含音频和视频,可以执行:

bash
./media-converter input.mkv output.mp4
ffprobe -v error -show_entries stream=index,codec_type,codec_name,pix_fmt,sample_rate -of default=noprint_wrappers=1 output.mp4

预期输出:

text
index=0
codec_name=h264
codec_type=video
pix_fmt=yuv420p
index=1
codec_name=aac
codec_type=audio
sample_rate=48000

实际的流索引可能不同,但应同时存在 H.264 视频流和 AAC 音频流。还应完整播放文件结尾,并确认无明显音画不同步、花屏、爆音或时长截断。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

实现媒体转换器

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通