编码与格式 / 系统课时
实现媒体转换器
实现媒体转换器
本课把读取、解码、格式转换、编码和封装串成一个可落地的媒体转换流程。完成后,你将能明确每个 FFmpeg 对象的职责,并用统一主循环生成 H.264、AAC 封装的 MP4 文件。
学习目标
- 组织解复用、解码、转换、编码和复用的完整调用顺序
- 正确处理视频像素、音频采样以及时间戳换算
- 通过
ffprobe验证输出流、编码格式和基础参数
明确转换器的最小闭环
媒体转换不是把输入包直接交给输出容器,而是先把压缩数据还原成原始帧,再转换成目标编码器可接受的格式。视频通常经过 AVPacket → AVFrame → SwsContext → AVFrame → AVPacket,音频则通过 SwrContext 完成采样率、采样格式和声道布局转换。

初始化阶段应先打开输入并读取流信息,再分别创建解码器、转换上下文和编码器,最后创建输出容器与输出流。只有输出流参数已经从编码器复制完成后,才能调用 avformat_write_header 写入文件头。
组织视频处理主循环
下面是视频支路的核心片段。它依赖已经初始化好的输入流、解码器、编码器、SwsContext、目标帧和输出流,因此不能独立编译;它展示的是主循环中最容易出错的发送、接收、时间戳换算与写包顺序。
// 片段示例:依赖已完成的 FFmpeg 上下文初始化。
static int writeEncodedPackets(
AVCodecContext* encoder,
AVFormatContext* outputFormat,
AVStream* outputStream,
AVPacket* encodedPacket) {
while (true) {
int ret = avcodec_receive_packet(encoder, encodedPacket);
if (ret == AVERROR(EAGAIN) || ret == AVERROR_EOF) {
return 0;
}
if (ret < 0) {
return ret;
}
// 编码器与输出流可能使用不同时间基,写入前必须换算。
av_packet_rescale_ts(
encodedPacket,
encoder->time_base,
outputStream->time_base);
encodedPacket->stream_index = outputStream->index;
ret = av_interleaved_write_frame(outputFormat, encodedPacket);
av_packet_unref(encodedPacket);
if (ret < 0) {
return ret;
}
}
}
static int transcodeVideoPacket(
AVPacket* inputPacket,
AVCodecContext* decoder,
AVCodecContext* encoder,
AVStream* inputStream,
AVStream* outputStream,
SwsContext* scaler,
AVFrame* decodedFrame,
AVFrame* convertedFrame,
AVPacket* encodedPacket,
AVFormatContext* outputFormat,
int64_t& fallbackPts) {
int ret = avcodec_send_packet(decoder, inputPacket);
if (ret < 0) {
return ret;
}
while ((ret = avcodec_receive_frame(decoder, decodedFrame)) >= 0) {
ret = av_frame_make_writable(convertedFrame);
if (ret < 0) {
return ret;
}
// 把解码后的像素数据转换为编码器要求的尺寸和像素格式。
sws_scale(
scaler,
decodedFrame->data,
decodedFrame->linesize,
0,
decoder->height,
convertedFrame->data,
convertedFrame->linesize);
const int64_t sourcePts = decodedFrame->best_effort_timestamp;
convertedFrame->pts = sourcePts == AV_NOPTS_VALUE
? fallbackPts++
: av_rescale_q(
sourcePts,
inputStream->time_base,
encoder->time_base);
ret = avcodec_send_frame(encoder, convertedFrame);
if (ret < 0) {
return ret;
}
ret = writeEncodedPackets(
encoder,
outputFormat,
outputStream,
encodedPacket);
if (ret < 0) {
return ret;
}
}
return ret == AVERROR(EAGAIN) || ret == AVERROR_EOF ? 0 : ret;
}avcodec_send_packet 和 avcodec_receive_frame 是一对生产者与消费者调用,返回 EAGAIN 不代表失败,而是提示先消费另一侧数据。输入结束后还要向解码器发送空包,再向编码器发送空帧,直到双方返回 AVERROR_EOF,否则最后几帧会留在内部缓冲区。
处理音频与时间戳
音频编码器常要求固定的 frame_size,但重采样器每次产生的样本数可能不同。稳妥做法是把 swr_convert 的输出先写入 AVAudioFifo,当 FIFO 中样本数达到编码器帧长时,再取出一帧送入编码器。
音频时间戳不要直接照搬输入包的时间戳,而应按已经送入编码器的累计样本数生成。若编码器时间基为 1 / sample_rate,每编码一帧后将累计值增加该帧的 nb_samples,即可得到连续且单调递增的 PTS。
完成封装与资源收尾
所有音视频帧写完后,调用 av_write_trailer 写入容器尾部索引。资源释放顺序应与创建顺序大致相反:释放包和帧、转换上下文、编解码器上下文、输入格式上下文,最后关闭输出 AVIOContext 并释放输出格式上下文。
写包统一使用 av_interleaved_write_frame,让复用器按 DTS 对不同流重新交错。若直接使用 av_write_frame,调用方必须自行保证音视频包已经按正确顺序排列。
运行与验收
假设最终程序名为 media-converter,目标固定为 H.264、YUV420P、AAC、48 kHz,且输入文件同时包含音频和视频,可以执行:
./media-converter input.mkv output.mp4
ffprobe -v error -show_entries stream=index,codec_type,codec_name,pix_fmt,sample_rate -of default=noprint_wrappers=1 output.mp4预期输出:
index=0
codec_name=h264
codec_type=video
pix_fmt=yuv420p
index=1
codec_name=aac
codec_type=audio
sample_rate=48000实际的流索引可能不同,但应同时存在 H.264 视频流和 AAC 音频流。还应完整播放文件结尾,并确认无明显音画不同步、花屏、爆音或时长截断。