编码与格式 / 系统课时

视频帧显示

视频帧显示

本课完成一个最小可运行的原始视频帧播放器:从 RGB24 文件逐帧读取数据,上传到 SDL 纹理并显示,同时按目标帧率控制刷新节奏,避免播放过快、画面停顿或界面失去响应。

学习目标

  • 理解原始视频帧从文件到渲染窗口的显示链路
  • 使用 SDL2 创建窗口、纹理并更新 RGB24 像素
  • 依据帧率计算显示间隔,并用稳定时钟控制刷新

显示链路与前置条件

一帧 RGB24 图像按 R、G、B 三个字节保存一个像素。显示时,程序先读取一帧完整数据,再把它上传到纹理,最后由渲染器复制到窗口。示例固定使用 640×360、25 fps 的 RGB24 文件,输入格式必须与这些参数一致。

原始视频帧显示与刷新链路

安装 SDL2 开发包后再编译。Ubuntu 可执行:

bash
sudo apt update
sudo apt install -y libsdl2-dev

预期结果:

text
SDL2 开发包安装完成,命令退出码为 0。

实现逐帧渲染

下面的程序读取 input.rgb24。每次必须读满 width × height × 3 字节;不足一帧时停止播放。SDL_UpdateTexture 的最后一个参数是每行字节数,也称为 stride,本例为 width × 3。

cpp
#include <SDL2/SDL.h>

#include <chrono>
#include <cstdint>
#include <fstream>
#include <iostream>
#include <thread>
#include <vector>

int main() {
    constexpr int width = 640;
    constexpr int height = 360;
    constexpr int fps = 25;
    constexpr std::size_t frameSize =
        static_cast<std::size_t>(width) * height * 3;

    std::ifstream input("input.rgb24", std::ios::binary);
    if (!input) {
        std::cerr << "Cannot open input.rgb24\n";
        return 1;
    }
    if (SDL_Init(SDL_INIT_VIDEO) != 0) {
        std::cerr << SDL_GetError() << '\n';
        return 1;
    }

    SDL_Window* window = SDL_CreateWindow(
        "RGB24 Player", SDL_WINDOWPOS_CENTERED, SDL_WINDOWPOS_CENTERED,
        width, height, SDL_WINDOW_SHOWN);
    SDL_Renderer* renderer = SDL_CreateRenderer(
        window, -1, SDL_RENDERER_ACCELERATED | SDL_RENDERER_PRESENTVSYNC);
    SDL_Texture* texture = SDL_CreateTexture(
        renderer, SDL_PIXELFORMAT_RGB24, SDL_TEXTUREACCESS_STREAMING,
        width, height);

    if (!window || !renderer || !texture) {
        std::cerr << SDL_GetError() << '\n';
        SDL_Quit();
        return 1;
    }

    std::vector<std::uint8_t> frame(frameSize);
    const auto frameInterval = std::chrono::microseconds(1000000 / fps);
    auto nextPresentTime = std::chrono::steady_clock::now();
    bool running = true;
    std::size_t frameCount = 0;

    while (running && input.read(
               reinterpret_cast<char*>(frame.data()), frame.size())) {
        SDL_Event event;
        while (SDL_PollEvent(&event)) {
            if (event.type == SDL_QUIT ||
                (event.type == SDL_KEYDOWN && event.key.keysym.sym == SDLK_ESCAPE)) {
                running = false;
            }
        }

        SDL_UpdateTexture(texture, nullptr, frame.data(), width * 3);
        SDL_RenderClear(renderer);
        SDL_RenderCopy(renderer, texture, nullptr, nullptr);
        SDL_RenderPresent(renderer);
        ++frameCount;

        // 使用累计目标时间,避免每帧单独 sleep 造成误差持续叠加。
        nextPresentTime += frameInterval;
        std::this_thread::sleep_until(nextPresentTime);
    }

    std::cout << "Rendered frames: " << frameCount << '\n';
    SDL_DestroyTexture(texture);
    SDL_DestroyRenderer(renderer);
    SDL_DestroyWindow(window);
    SDL_Quit();
    return 0;
}

预期结果:

text
保存为 player.cpp 后可通过下一步命令编译;运行时创建 640×360 窗口。

编译并运行:

bash
g++ -std=c++17 player.cpp -o player $(sdl2-config --cflags --libs)
./player

预期结果:

text
窗口按 640×360 显示 RGB24 视频,按 Esc 或关闭窗口后退出。
Rendered frames: <FRAME_COUNT>

<FRAME_COUNT> 取决于输入文件包含的完整帧数。若颜色错乱,优先检查输入是否确为 RGB24;若画面斜裂,检查宽度、高度和每行字节数是否一致。

控制刷新节奏

目标帧率为 fps 时,单帧显示间隔为 1 / fps 秒。25 fps 对应 40 ms。示例用 steady_clock 记录下一帧的绝对呈现时间,再调用 sleep_until,比每轮固定休眠 40 ms 更不容易累积渲染耗时造成的漂移。

当读取、转换和渲染耗时超过一帧预算时,单纯休眠无法恢复实时节奏。实际播放器通常根据音频时钟或系统主时钟决定等待、立即显示或丢弃迟到视频帧。

验收与常见问题

可先用 FFmpeg 生成与示例参数一致的测试文件:

bash
ffmpeg -f lavfi -i testsrc2=size=640x360:rate=25 -t 3 -pix_fmt rgb24 -f rawvideo input.rgb24

预期结果:

text
生成 input.rgb24,文件包含约 75 帧;实际日志中的时间与速度可能不同。

运行播放器后应看到约 3 秒测试画面。窗口无响应通常是因为没有持续处理 SDL 事件;播放速度异常通常是帧率参数错误;只显示部分画面则多半是文件尺寸不足一帧或像素格式不匹配。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

视频帧显示

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通