编码与格式 / 系统课时

视频帧编码

视频帧编码

本课完成一个最小可运行的视频编码器:生成连续的 YUV420P 原始帧,将它们送入 FFmpeg 编码器,循环接收压缩数据包并写入文件,同时正确处理编码延迟和结束冲刷。

学习目标

  • 理解 avcodec_send_frame() 与 avcodec_receive_packet() 的配合方式
  • 正确准备像素格式、时间基、帧缓冲区和 pts
  • 能够冲刷编码器并验证输出码流

编码循环的本质

视频编码不是“一帧输入必然立即得到一个包”。编码器可能为了码率控制、帧重排或 B 帧预测暂存输入,因此每次发送帧后,都要循环接收,直到返回 AVERROR(EAGAIN)。输入结束时再发送 NULL,持续接收直到 AVERROR_EOF,否则尾部缓存的数据可能丢失。:contentReference[oaicite:0]{index=0}

视频帧编码的发送、接收与冲刷流程

AVFrame 保存未压缩图像,AVPacket 保存编码后的压缩数据。两者不能混用:帧的 format、width、height 必须与编码器上下文一致,pts 则按照编码器时间基递增。

准备编码器与帧缓冲区

本例使用 FFmpeg 内置的 MPEG-4 编码器,输入格式为 AV_PIX_FMT_YUV420P,分辨率为 320×240,帧率为 25 FPS。time_base={1,25} 表示相邻帧的时间戳通常相差 1,因此第 i 帧可直接设置 frame->pts=i。

帧缓冲区通过 av_frame_get_buffer() 分配。每次改写像素前调用 av_frame_make_writable(),避免编码器仍持有旧缓冲区引用时覆盖数据。

完整示例:编码 50 帧视频

下面程序生成 2 秒渐变画面并写入 output.m4v。这是完整示例,依赖已安装的 FFmpeg 开发库。

c
#include <stdint.h>
#include <stdio.h>
#include <stdlib.h>

#include <libavcodec/avcodec.h>
#include <libavutil/error.h>
#include <libavutil/frame.h>

static void fail(const char *message, int error_code) {
    char error_text[AV_ERROR_MAX_STRING_SIZE] = {0};
    av_strerror(error_code, error_text, sizeof(error_text));
    fprintf(stderr, "%s: %s\n", message, error_text);
    exit(EXIT_FAILURE);
}

static void encode_frame(AVCodecContext *context,
                         AVFrame *frame,
                         AVPacket *packet,
                         FILE *output) {
    int ret = avcodec_send_frame(context, frame);
    if (ret < 0) {
        fail("无法发送视频帧", ret);
    }

    while (1) {
        ret = avcodec_receive_packet(context, packet);
        if (ret == AVERROR(EAGAIN) || ret == AVERROR_EOF) {
            return;
        }
        if (ret < 0) {
            fail("无法接收压缩包", ret);
        }

        if (fwrite(packet->data, 1, packet->size, output) !=
            (size_t) packet->size) {
            fprintf(stderr, "写入输出文件失败\n");
            exit(EXIT_FAILURE);
        }
        av_packet_unref(packet);
    }
}

int main(void) {
    const AVCodec *codec = avcodec_find_encoder(AV_CODEC_ID_MPEG4);
    if (!codec) {
        fprintf(stderr, "未找到 MPEG-4 编码器\n");
        return EXIT_FAILURE;
    }

    AVCodecContext *context = avcodec_alloc_context3(codec);
    AVFrame *frame = av_frame_alloc();
    AVPacket *packet = av_packet_alloc();
    FILE *output = fopen("output.m4v", "wb");
    if (!context || !frame || !packet || !output) {
        fprintf(stderr, "资源分配失败\n");
        return EXIT_FAILURE;
    }

    context->bit_rate = 400000;
    context->width = 320;
    context->height = 240;
    context->time_base = (AVRational) {1, 25};
    context->framerate = (AVRational) {25, 1};
    context->gop_size = 12;
    context->max_b_frames = 2;
    context->pix_fmt = AV_PIX_FMT_YUV420P;

    int ret = avcodec_open2(context, codec, NULL);
    if (ret < 0) {
        fail("无法打开编码器", ret);
    }

    frame->format = context->pix_fmt;
    frame->width = context->width;
    frame->height = context->height;
    ret = av_frame_get_buffer(frame, 32);
    if (ret < 0) {
        fail("无法分配帧缓冲区", ret);
    }

    for (int index = 0; index < 50; ++index) {
        ret = av_frame_make_writable(frame);
        if (ret < 0) {
            fail("帧缓冲区不可写", ret);
        }

        // 按 linesize 寻址,不能假设每行紧密排列。
        for (int y = 0; y < context->height; ++y) {
            for (int x = 0; x < context->width; ++x) {
                frame->data[0][y * frame->linesize[0] + x] =
                    (uint8_t) (x + y + index * 3);
            }
        }
        for (int y = 0; y < context->height / 2; ++y) {
            for (int x = 0; x < context->width / 2; ++x) {
                frame->data[1][y * frame->linesize[1] + x] =
                    (uint8_t) (128 + y + index * 2);
                frame->data[2][y * frame->linesize[2] + x] =
                    (uint8_t) (64 + x + index * 5);
            }
        }

        frame->pts = index;
        encode_frame(context, frame, packet, output);
    }

    // NULL 帧让编码器输出仍在内部缓冲区中的数据包。
    encode_frame(context, NULL, packet, output);

    fclose(output);
    av_packet_free(&packet);
    av_frame_free(&frame);
    avcodec_free_context(&context);

    printf("encoded 50 frames to output.m4v\n");
    return EXIT_SUCCESS;
}

编译并运行:

bash
cc video_encode.c -o video_encode $(pkg-config --cflags --libs libavcodec libavutil)
./video_encode

预期输出:

text
encoded 50 frames to output.m4v

验证与关键边界

使用 ffprobe 检查码流参数:

bash
ffprobe -v error -select_streams v:0   -show_entries stream=codec_name,width,height,r_frame_rate   -of default=noprint_wrappers=1 output.m4v

预期输出:

text
codec_name=mpeg4
width=320
height=240
r_frame_rate=25/1

实际项目还要处理三个边界:输入像素格式不匹配时先用 libswscale 转换;写入容器时先用 av_packet_rescale_ts()转换时间基;复用 AVPacket 时每次成功处理后调用 av_packet_unref()。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

视频帧编码

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通