编码与格式 / 系统课时
写入音视频数据
写入音视频数据
本课完成复用流程的最后一步:把音频、视频等多路数据包写入同一个输出容器。你将实现一个可运行的转封装程序,使用 av_interleaved_write_frame 按解码时间戳交错写包,并通过输出文件和流信息验证写入结果。
学习目标
- 理解直接写入与交错写入的区别
- 掌握写文件头、循环写包和写文件尾的完整顺序
- 能处理流映射、时间基换算和数据包释放
交错写入机制
音频包和视频包来自不同流,持续时间与到达频率也不同。若把一批视频包全部写完再写音频包,容器中的数据分布会很不均匀,播放器可能需要大范围跳转才能取到下一段音频,实时输出还可能造成缓存增长。
av_interleaved_write_frame 会根据各输出流的解码时间戳缓存并排序数据包,再按容器允许的顺序写出。调用方仍需保证每条流内部的 dts 合理,并在写入前把时间戳换算到对应输出流的时间基。

完整复用顺序是:创建输出上下文与输出流,调用 avformat_write_header 写文件头,循环读取数据包并完成流映射和时间戳换算,调用 av_interleaved_write_frame 写入,最后使用 av_write_trailer 写文件尾。
数据包的 stream_index 必须改成输出流索引。输入流和输出流索引不一定相同,尤其是在跳过附件、数据流或不支持的流时,因此应维护显式映射表,不能假设索引天然一致。
完整转封装示例
下面的程序复制输入文件中的音频、视频和字幕流,不进行解码与编码。为了减少容器兼容问题,示例输出建议使用 Matroska 文件,例如 output.mkv。
#include <stdio.h>
#include <stdlib.h>
#include <libavformat/avformat.h>
#include <libavutil/error.h>
#include <libavutil/mem.h>
static void print_error(const char *message, int error_code) {
char buffer[AV_ERROR_MAX_STRING_SIZE];
av_strerror(error_code, buffer, sizeof(buffer));
fprintf(stderr, "%s: %s\n", message, buffer);
}
int main(int argc, char **argv) {
AVFormatContext *input = NULL;
AVFormatContext *output = NULL;
AVPacket *packet = NULL;
int *stream_map = NULL;
int mapped_streams = 0;
int written_packets = 0;
int ret = 0;
if (argc != 3) {
fprintf(stderr, "Usage: %s <input> <output>\n", argv[0]);
return 1;
}
if ((ret = avformat_open_input(&input, argv[1], NULL, NULL)) < 0) {
print_error("Cannot open input", ret);
goto end;
}
if ((ret = avformat_find_stream_info(input, NULL)) < 0) {
print_error("Cannot read stream info", ret);
goto end;
}
ret = avformat_alloc_output_context2(&output, NULL, NULL, argv[2]);
if (ret < 0 || output == NULL) {
if (ret >= 0) {
ret = AVERROR_UNKNOWN;
}
print_error("Cannot create output context", ret);
goto end;
}
stream_map = av_calloc(input->nb_streams, sizeof(*stream_map));
if (stream_map == NULL) {
ret = AVERROR(ENOMEM);
goto end;
}
// 只复制常见媒体流,并建立输入索引到输出索引的显式映射。
for (unsigned int i = 0; i < input->nb_streams; ++i) {
AVStream *in_stream = input->streams[i];
enum AVMediaType type = in_stream->codecpar->codec_type;
if (type != AVMEDIA_TYPE_AUDIO &&
type != AVMEDIA_TYPE_VIDEO &&
type != AVMEDIA_TYPE_SUBTITLE) {
stream_map[i] = -1;
continue;
}
AVStream *out_stream = avformat_new_stream(output, NULL);
if (out_stream == NULL) {
ret = AVERROR_UNKNOWN;
goto end;
}
stream_map[i] = mapped_streams++;
if ((ret = avcodec_parameters_copy(out_stream->codecpar,
in_stream->codecpar)) < 0) {
print_error("Cannot copy codec parameters", ret);
goto end;
}
out_stream->codecpar->codec_tag = 0;
}
if (!(output->oformat->flags & AVFMT_NOFILE)) {
if ((ret = avio_open(&output->pb, argv[2], AVIO_FLAG_WRITE)) < 0) {
print_error("Cannot open output file", ret);
goto end;
}
}
if ((ret = avformat_write_header(output, NULL)) < 0) {
print_error("Cannot write header", ret);
goto end;
}
packet = av_packet_alloc();
if (packet == NULL) {
ret = AVERROR(ENOMEM);
goto end;
}
while ((ret = av_read_frame(input, packet)) >= 0) {
int input_index = packet->stream_index;
if (stream_map[input_index] < 0) {
av_packet_unref(packet);
continue;
}
AVStream *in_stream = input->streams[input_index];
AVStream *out_stream = output->streams[stream_map[input_index]];
packet->stream_index = stream_map[input_index];
av_packet_rescale_ts(packet, in_stream->time_base, out_stream->time_base);
packet->pos = -1;
// 复用器按各流 DTS 缓存并交错写入。
ret = av_interleaved_write_frame(output, packet);
av_packet_unref(packet);
if (ret < 0) {
print_error("Cannot write packet", ret);
goto end;
}
++written_packets;
}
if (ret == AVERROR_EOF) {
ret = 0;
}
if (ret >= 0 && (ret = av_write_trailer(output)) < 0) {
print_error("Cannot write trailer", ret);
goto end;
}
printf("Remux complete: %d packets written.\n", written_packets);
end:
av_packet_free(&packet);
av_freep(&stream_map);
avformat_close_input(&input);
if (output != NULL && !(output->oformat->flags & AVFMT_NOFILE)) {
avio_closep(&output->pb);
}
avformat_free_context(output);
return ret < 0 ? 1 : 0;
}运行命令:
cc remux_interleaved.c -o remux_interleaved $(pkg-config --cflags --libs libavformat libavcodec libavutil)
./remux_interleaved <PATH>/input.mp4 <PATH>/output.mkv
ffprobe -v error -show_entries stream=index,codec_type -of compact <PATH>/output.mkv预期输出:
Remux complete: <COUNT> packets written.
stream|index=0|codec_type=video
stream|index=1|codec_type=audio<PATH> 和 <COUNT> 会随文件位置与输入内容变化;若输入没有音频,验证结果也不会出现音频流。输出流索引可能与示例不同,但应能看到成功复制的媒体流。
边界与失败处理
av_interleaved_write_frame 依赖有效的 dts 排序。若出现 Non-monotonous DTS,应检查输入包是否缺少时间戳、是否用了错误的源时间基,以及流映射后是否取错了输出流。不要通过随意修改 pts 或固定递增 dts 掩盖问题。
文件头必须在任何数据包之前写入,文件尾应在读取完成后写入。程序异常退出时仍要释放数据包、关闭输入上下文和输出 AVIOContext。此外,转封装不改变编码格式;若输入编码不被目标容器支持,应更换容器或执行真正的转码。
Tips:需要让复用器负责跨流排序时优先使用
av_interleaved_write_frame。只有调用方已经严格按容器要求排好顺序时,才考虑av_write_frame。