编码与格式 / 系统课时

写入音视频数据

写入音视频数据

本课完成复用流程的最后一步:把音频、视频等多路数据包写入同一个输出容器。你将实现一个可运行的转封装程序,使用 av_interleaved_write_frame 按解码时间戳交错写包,并通过输出文件和流信息验证写入结果。

学习目标

  • 理解直接写入与交错写入的区别
  • 掌握写文件头、循环写包和写文件尾的完整顺序
  • 能处理流映射、时间基换算和数据包释放

交错写入机制

音频包和视频包来自不同流,持续时间与到达频率也不同。若把一批视频包全部写完再写音频包,容器中的数据分布会很不均匀,播放器可能需要大范围跳转才能取到下一段音频,实时输出还可能造成缓存增长。

av_interleaved_write_frame 会根据各输出流的解码时间戳缓存并排序数据包,再按容器允许的顺序写出。调用方仍需保证每条流内部的 dts 合理,并在写入前把时间戳换算到对应输出流的时间基。

音频包与视频包按DTS交错写入容器

完整复用顺序是:创建输出上下文与输出流,调用 avformat_write_header 写文件头,循环读取数据包并完成流映射和时间戳换算,调用 av_interleaved_write_frame 写入,最后使用 av_write_trailer 写文件尾。

数据包的 stream_index 必须改成输出流索引。输入流和输出流索引不一定相同,尤其是在跳过附件、数据流或不支持的流时,因此应维护显式映射表,不能假设索引天然一致。

完整转封装示例

下面的程序复制输入文件中的音频、视频和字幕流,不进行解码与编码。为了减少容器兼容问题,示例输出建议使用 Matroska 文件,例如 output.mkv。

c
#include <stdio.h>
#include <stdlib.h>

#include <libavformat/avformat.h>
#include <libavutil/error.h>
#include <libavutil/mem.h>

static void print_error(const char *message, int error_code) {
    char buffer[AV_ERROR_MAX_STRING_SIZE];
    av_strerror(error_code, buffer, sizeof(buffer));
    fprintf(stderr, "%s: %s\n", message, buffer);
}

int main(int argc, char **argv) {
    AVFormatContext *input = NULL;
    AVFormatContext *output = NULL;
    AVPacket *packet = NULL;
    int *stream_map = NULL;
    int mapped_streams = 0;
    int written_packets = 0;
    int ret = 0;

    if (argc != 3) {
        fprintf(stderr, "Usage: %s <input> <output>\n", argv[0]);
        return 1;
    }

    if ((ret = avformat_open_input(&input, argv[1], NULL, NULL)) < 0) {
        print_error("Cannot open input", ret);
        goto end;
    }
    if ((ret = avformat_find_stream_info(input, NULL)) < 0) {
        print_error("Cannot read stream info", ret);
        goto end;
    }

    ret = avformat_alloc_output_context2(&output, NULL, NULL, argv[2]);
    if (ret < 0 || output == NULL) {
        if (ret >= 0) {
            ret = AVERROR_UNKNOWN;
        }
        print_error("Cannot create output context", ret);
        goto end;
    }

    stream_map = av_calloc(input->nb_streams, sizeof(*stream_map));
    if (stream_map == NULL) {
        ret = AVERROR(ENOMEM);
        goto end;
    }

    // 只复制常见媒体流,并建立输入索引到输出索引的显式映射。
    for (unsigned int i = 0; i < input->nb_streams; ++i) {
        AVStream *in_stream = input->streams[i];
        enum AVMediaType type = in_stream->codecpar->codec_type;

        if (type != AVMEDIA_TYPE_AUDIO &&
            type != AVMEDIA_TYPE_VIDEO &&
            type != AVMEDIA_TYPE_SUBTITLE) {
            stream_map[i] = -1;
            continue;
        }

        AVStream *out_stream = avformat_new_stream(output, NULL);
        if (out_stream == NULL) {
            ret = AVERROR_UNKNOWN;
            goto end;
        }

        stream_map[i] = mapped_streams++;
        if ((ret = avcodec_parameters_copy(out_stream->codecpar,
                                           in_stream->codecpar)) < 0) {
            print_error("Cannot copy codec parameters", ret);
            goto end;
        }
        out_stream->codecpar->codec_tag = 0;
    }

    if (!(output->oformat->flags & AVFMT_NOFILE)) {
        if ((ret = avio_open(&output->pb, argv[2], AVIO_FLAG_WRITE)) < 0) {
            print_error("Cannot open output file", ret);
            goto end;
        }
    }

    if ((ret = avformat_write_header(output, NULL)) < 0) {
        print_error("Cannot write header", ret);
        goto end;
    }

    packet = av_packet_alloc();
    if (packet == NULL) {
        ret = AVERROR(ENOMEM);
        goto end;
    }

    while ((ret = av_read_frame(input, packet)) >= 0) {
        int input_index = packet->stream_index;
        if (stream_map[input_index] < 0) {
            av_packet_unref(packet);
            continue;
        }

        AVStream *in_stream = input->streams[input_index];
        AVStream *out_stream = output->streams[stream_map[input_index]];

        packet->stream_index = stream_map[input_index];
        av_packet_rescale_ts(packet, in_stream->time_base, out_stream->time_base);
        packet->pos = -1;

        // 复用器按各流 DTS 缓存并交错写入。
        ret = av_interleaved_write_frame(output, packet);
        av_packet_unref(packet);
        if (ret < 0) {
            print_error("Cannot write packet", ret);
            goto end;
        }
        ++written_packets;
    }

    if (ret == AVERROR_EOF) {
        ret = 0;
    }
    if (ret >= 0 && (ret = av_write_trailer(output)) < 0) {
        print_error("Cannot write trailer", ret);
        goto end;
    }

    printf("Remux complete: %d packets written.\n", written_packets);

end:
    av_packet_free(&packet);
    av_freep(&stream_map);
    avformat_close_input(&input);
    if (output != NULL && !(output->oformat->flags & AVFMT_NOFILE)) {
        avio_closep(&output->pb);
    }
    avformat_free_context(output);
    return ret < 0 ? 1 : 0;
}

运行命令:

bash
cc remux_interleaved.c -o remux_interleaved $(pkg-config --cflags --libs libavformat libavcodec libavutil)
./remux_interleaved <PATH>/input.mp4 <PATH>/output.mkv
ffprobe -v error -show_entries stream=index,codec_type -of compact <PATH>/output.mkv

预期输出:

text
Remux complete: <COUNT> packets written.
stream|index=0|codec_type=video
stream|index=1|codec_type=audio

<PATH> 和 <COUNT> 会随文件位置与输入内容变化;若输入没有音频,验证结果也不会出现音频流。输出流索引可能与示例不同,但应能看到成功复制的媒体流。

边界与失败处理

av_interleaved_write_frame 依赖有效的 dts 排序。若出现 Non-monotonous DTS,应检查输入包是否缺少时间戳、是否用了错误的源时间基,以及流映射后是否取错了输出流。不要通过随意修改 pts 或固定递增 dts 掩盖问题。

文件头必须在任何数据包之前写入,文件尾应在读取完成后写入。程序异常退出时仍要释放数据包、关闭输入上下文和输出 AVIOContext。此外,转封装不改变编码格式;若输入编码不被目标容器支持,应更换容器或执行真正的转码。

Tips:需要让复用器负责跨流排序时优先使用 av_interleaved_write_frame。只有调用方已经严格按容器要求排好顺序时,才考虑 av_write_frame。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

写入音视频数据

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通