AI 内容创作 / 系统课时

WebRTC 音视频传输

WebRTC 音视频传输

数字人完成实时渲染后,需要把音频与视频以低延迟方式送到浏览器。WebRTC 将媒体轨道、编解码协商、拥塞控制、网络穿透和加密传输组合在一起,但信令仍需由业务系统自行实现,本课将建立完整的端到端心智模型。

学习目标

  • 说明信令、SDP、ICE、STUN、TURN 与媒体轨道的关系
  • 理解音视频编解码协商和 DTLS-SRTP 加密链路
  • 运行一个包含合成视频与测试音频的浏览器环回示例

传输链路与职责边界

WebRTC 不规定信令协议。业务系统可以使用上一课的 WebSocket 发送 offer、answer 和 ICE 候选,但这些消息只用于建立连接;真正的音视频数据走独立的媒体路径。协商前可先把本地 MediaStreamTrack 加入 RTCPeerConnection,连接和协商完成后才开始传输,由浏览器或媒体服务器完成打包、重传、抖动处理和拥塞控制。

WebRTC 信令、网络穿透与音视频媒体链路

在数字人架构中,渲染服务可能直接实现 WebRTC,也可能先把媒体送入 SFU、媒体网关或云实时通信服务。客户端只需面向统一的信令接口和远端轨道,不应依赖渲染节点的内部地址。

协商、穿透与安全机制

发起方调用 createOffer() 生成 SDP,SDP 描述媒体类型、方向、候选编解码器和传输参数。接收方设置远端描述后调用 createAnswer(),最终双方选择共同支持的音视频格式。音频通常优先使用 Opus;视频可能协商为 H.264、VP8、VP9 或 AV1,实际结果取决于浏览器、硬件和服务端能力,不应只依据文件扩展名判断。

ICE 会收集本机、STUN 映射和 TURN 中继候选,并尝试选出可达路径。STUN 帮助发现公网映射,不能保证复杂网络下直连;TURN 提供中继候选,可在无法直连或策略要求中继时转发媒体,因此必须准备可用的中继服务、短期凭证和容量监控。生产环境不能把公开测试 STUN 当作完整网络穿透方案。

WebRTC 媒体通常通过 DTLS 协商密钥,再使用 SRTP 保护 RTP 数据。媒体加密不等于业务安全,信令接口仍需鉴权、会话授权、防重放和来源校验,TURN 凭证也应限制有效期。

完整可运行示例

下面的页面在同一浏览器标签中创建发送端和接收端两个 RTCPeerConnection。发送端使用 Canvas 生成动态视频,并通过 Web Audio 生成一条测试音频轨道;代码直接交换 SDP,等价于把信令服务替换为本地函数。

将代码保存为 index.html:

html
<!doctype html>
<html lang="zh-CN">
<head>
    <meta charset="UTF-8">
    <meta name="viewport" content="width=device-width, initial-scale=1.0">
    <title>WebRTC 环回演示</title>
</head>
<body>
    <button id="start">启动本地 WebRTC 环回</button>
    <button id="stop" disabled>关闭环回</button>
    <video id="remote" autoplay playsinline controls width="640"></video>
    <pre id="log"></pre>

    <script>
        const startButton = document.querySelector("#start");
        const stopButton = document.querySelector("#stop");
        const remoteVideo = document.querySelector("#remote");
        let closeLoop = null;
        stopButton.addEventListener("click", () => closeLoop?.());
        const logElement = document.querySelector("#log");

        function writeLog(message) {
            logElement.textContent += `${message}\n`;
        }

        // 非 Trickle 模式需要等待候选写入本地 SDP。
        function waitForIceComplete(peer) {
            if (peer.iceGatheringState === "complete") {
                return Promise.resolve();
            }

            return new Promise((resolve, reject) => {
                const done = () => {
                    clearTimeout(timer);
                    peer.removeEventListener("icegatheringstatechange", check);
                };
                const check = () => {
                    if (peer.iceGatheringState === "complete") {
                        done();
                        resolve();
                    }
                };
                const timer = setTimeout(() => {
                    done();
                    reject(new Error("ICE 候选收集超时"));
                }, 5000);
                peer.addEventListener("icegatheringstatechange", check);
                check();
            });
        }

        startButton.addEventListener("click", async () => {
            startButton.disabled = true;
            logElement.textContent = "";
            let raf = 0, localStream, audioContext, sender, receiver;
            closeLoop = () => {
                cancelAnimationFrame(raf);
                localStream?.getTracks().forEach(track => track.stop());
                sender?.close();
                receiver?.close();
                if (audioContext && audioContext.state !== "closed") void audioContext.close();
                remoteVideo.srcObject = null;
                startButton.disabled = false;
                stopButton.disabled = true;
                closeLoop = null;
            };
            try {
                // Canvas 轨道模拟数字人的实时视频输出。
                const canvas = document.createElement("canvas");
                canvas.width = 640;
                canvas.height = 360;
                const context = canvas.getContext("2d");

                function drawFrame() {
                    context.fillStyle = "#f5f7fb";
                    context.fillRect(0, 0, canvas.width, canvas.height);
                    context.fillStyle = "#173a63";
                    context.font = "36px sans-serif";
                    context.fillText("AI 数字人测试画面", 150, 150);
                    context.font = "24px monospace";
                    context.fillText(new Date().toLocaleTimeString(), 225, 210);
                    raf = requestAnimationFrame(drawFrame);
                }

                drawFrame();
                localStream = canvas.captureStream(30);

                // Web Audio 生成低音量测试音,并转换为音频轨道。
                audioContext = new AudioContext();
                await audioContext.resume();
                const oscillator = audioContext.createOscillator();
                const gain = audioContext.createGain();
                const destination = audioContext.createMediaStreamDestination();
                oscillator.frequency.value = 220;
                gain.gain.value = 0.03;
                oscillator.connect(gain).connect(destination);
                oscillator.start();
                localStream.addTrack(destination.stream.getAudioTracks()[0]);

                // 同页创建两个对等端,避免依赖外部信令服务。
                sender = new RTCPeerConnection({ iceServers: [] });
                receiver = new RTCPeerConnection({ iceServers: [] });
                const remoteStream = new MediaStream();
                remoteVideo.srcObject = remoteStream;

                // 接收端把到达的轨道汇入同一个远端 MediaStream。
                receiver.addEventListener("track", (event) => {
                    remoteStream.addTrack(event.track);
                    writeLog(`收到轨道: ${event.track.kind}`);
                });

                sender.addEventListener("connectionstatechange", () => {
                    writeLog(`发送端状态: ${sender.connectionState}`);
                });

                for (const track of localStream.getTracks()) {
                    sender.addTrack(track, localStream);
                }

                // 等待 ICE 收集完成后直接交换本地描述,模拟非 Trickle 信令。
                await sender.setLocalDescription(await sender.createOffer());
                await waitForIceComplete(sender);
                await receiver.setRemoteDescription(sender.localDescription);

                await receiver.setLocalDescription(await receiver.createAnswer());
                await waitForIceComplete(receiver);
                await sender.setRemoteDescription(receiver.localDescription);
                writeLog("SDP offer/answer 已完成");
                stopButton.disabled = false;

                // 自动播放策略因浏览器而异,失败时保留手动播放入口。
                try {
                    await remoteVideo.play();
                } catch {
                    if (closeLoop) writeLog("自动播放不可用,可使用视频控件");
                }
            } catch (error) {
                writeLog("环回失败:" + error.message);
                closeLoop?.();
            }
        });
    </script>
</body>
</html>

在文件所在目录启动静态服务器:

bash
python -m http.server 8000 --bind 127.0.0.1

浏览器打开 http://127.0.0.1:8000,点击“启动本地 WebRTC 环回”。预期结果:

text
页面日志最终包含:
- 收到轨道: video
- 收到轨道: audio
- SDP offer/answer 已完成
- 发送端状态: connected

远端播放器显示持续变化的测试画面,并包含 1 条 video 轨道和 1 条 audio 轨道。

点击关闭后会停止本地轨道、动画循环和 AudioContext,并释放两个连接。示例使用 iceServers: [],只验证同机环回和协商流程,不代表公网可达。真实部署应在配置中加入受控的 STUN 与 TURN 地址,并通过信令服务交换 SDP 和 ICE 候选。

生产接入与质量验证

接入数字人服务时,先确认服务端提供发送音频和视频的 sendonly 轨道,浏览器对应使用 recvonly 或正常收发方向。若需要用户麦克风打断数字人,再额外添加上行音频轨道,并在业务层定义静音、抢占和回声消除策略。

连接建立后应周期性读取 getStats(),重点观察往返时延、抖动、丢包、可用码率、实际帧率和丢帧数。视频卡顿但音频正常时,优先检查发送码率、关键帧、分辨率和解码负载;始终停留在 connecting 时,优先检查 ICE 候选交换、UDP 可达性和 TURN 凭证。

编解码器不要只在前端硬编码。服务端、浏览器和硬件解码能力必须存在交集,并为移动端或弱网准备较低分辨率和码率。公网测试至少覆盖企业网络、家庭路由器、移动网络、UDP 受限网络和 TURN 强制中继五种条件。

本课总结

  • WebSocket 负责信令,WebRTC 负责加密的实时音视频媒体传输
  • SDP 完成能力协商,ICE 配合 STUN 和 TURN 选择可达网络路径
  • 上线验收必须同时检查连接状态、媒体轨道、编解码器和 getStats() 质量指标

下一课预告

下一阶段可以把控制通道与媒体通道组合成完整会话,并继续加入弱网自适应、打断控制、质量监控和多实例调度,使数字人从“能够连接”提升到“能够稳定实时交互”。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

WebRTC 音视频传输

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通