AI 内容创作 / 系统课时
WebRTC 音视频传输
WebRTC 音视频传输
数字人完成实时渲染后,需要把音频与视频以低延迟方式送到浏览器。WebRTC 将媒体轨道、编解码协商、拥塞控制、网络穿透和加密传输组合在一起,但信令仍需由业务系统自行实现,本课将建立完整的端到端心智模型。
学习目标
- 说明信令、SDP、ICE、STUN、TURN 与媒体轨道的关系
- 理解音视频编解码协商和 DTLS-SRTP 加密链路
- 运行一个包含合成视频与测试音频的浏览器环回示例
传输链路与职责边界
WebRTC 不规定信令协议。业务系统可以使用上一课的 WebSocket 发送 offer、answer 和 ICE 候选,但这些消息只用于建立连接;真正的音视频数据走独立的媒体路径。协商前可先把本地 MediaStreamTrack 加入 RTCPeerConnection,连接和协商完成后才开始传输,由浏览器或媒体服务器完成打包、重传、抖动处理和拥塞控制。

在数字人架构中,渲染服务可能直接实现 WebRTC,也可能先把媒体送入 SFU、媒体网关或云实时通信服务。客户端只需面向统一的信令接口和远端轨道,不应依赖渲染节点的内部地址。
协商、穿透与安全机制
发起方调用 createOffer() 生成 SDP,SDP 描述媒体类型、方向、候选编解码器和传输参数。接收方设置远端描述后调用 createAnswer(),最终双方选择共同支持的音视频格式。音频通常优先使用 Opus;视频可能协商为 H.264、VP8、VP9 或 AV1,实际结果取决于浏览器、硬件和服务端能力,不应只依据文件扩展名判断。
ICE 会收集本机、STUN 映射和 TURN 中继候选,并尝试选出可达路径。STUN 帮助发现公网映射,不能保证复杂网络下直连;TURN 提供中继候选,可在无法直连或策略要求中继时转发媒体,因此必须准备可用的中继服务、短期凭证和容量监控。生产环境不能把公开测试 STUN 当作完整网络穿透方案。
WebRTC 媒体通常通过 DTLS 协商密钥,再使用 SRTP 保护 RTP 数据。媒体加密不等于业务安全,信令接口仍需鉴权、会话授权、防重放和来源校验,TURN 凭证也应限制有效期。
完整可运行示例
下面的页面在同一浏览器标签中创建发送端和接收端两个 RTCPeerConnection。发送端使用 Canvas 生成动态视频,并通过 Web Audio 生成一条测试音频轨道;代码直接交换 SDP,等价于把信令服务替换为本地函数。
将代码保存为 index.html:
<!doctype html>
<html lang="zh-CN">
<head>
<meta charset="UTF-8">
<meta name="viewport" content="width=device-width, initial-scale=1.0">
<title>WebRTC 环回演示</title>
</head>
<body>
<button id="start">启动本地 WebRTC 环回</button>
<button id="stop" disabled>关闭环回</button>
<video id="remote" autoplay playsinline controls width="640"></video>
<pre id="log"></pre>
<script>
const startButton = document.querySelector("#start");
const stopButton = document.querySelector("#stop");
const remoteVideo = document.querySelector("#remote");
let closeLoop = null;
stopButton.addEventListener("click", () => closeLoop?.());
const logElement = document.querySelector("#log");
function writeLog(message) {
logElement.textContent += `${message}\n`;
}
// 非 Trickle 模式需要等待候选写入本地 SDP。
function waitForIceComplete(peer) {
if (peer.iceGatheringState === "complete") {
return Promise.resolve();
}
return new Promise((resolve, reject) => {
const done = () => {
clearTimeout(timer);
peer.removeEventListener("icegatheringstatechange", check);
};
const check = () => {
if (peer.iceGatheringState === "complete") {
done();
resolve();
}
};
const timer = setTimeout(() => {
done();
reject(new Error("ICE 候选收集超时"));
}, 5000);
peer.addEventListener("icegatheringstatechange", check);
check();
});
}
startButton.addEventListener("click", async () => {
startButton.disabled = true;
logElement.textContent = "";
let raf = 0, localStream, audioContext, sender, receiver;
closeLoop = () => {
cancelAnimationFrame(raf);
localStream?.getTracks().forEach(track => track.stop());
sender?.close();
receiver?.close();
if (audioContext && audioContext.state !== "closed") void audioContext.close();
remoteVideo.srcObject = null;
startButton.disabled = false;
stopButton.disabled = true;
closeLoop = null;
};
try {
// Canvas 轨道模拟数字人的实时视频输出。
const canvas = document.createElement("canvas");
canvas.width = 640;
canvas.height = 360;
const context = canvas.getContext("2d");
function drawFrame() {
context.fillStyle = "#f5f7fb";
context.fillRect(0, 0, canvas.width, canvas.height);
context.fillStyle = "#173a63";
context.font = "36px sans-serif";
context.fillText("AI 数字人测试画面", 150, 150);
context.font = "24px monospace";
context.fillText(new Date().toLocaleTimeString(), 225, 210);
raf = requestAnimationFrame(drawFrame);
}
drawFrame();
localStream = canvas.captureStream(30);
// Web Audio 生成低音量测试音,并转换为音频轨道。
audioContext = new AudioContext();
await audioContext.resume();
const oscillator = audioContext.createOscillator();
const gain = audioContext.createGain();
const destination = audioContext.createMediaStreamDestination();
oscillator.frequency.value = 220;
gain.gain.value = 0.03;
oscillator.connect(gain).connect(destination);
oscillator.start();
localStream.addTrack(destination.stream.getAudioTracks()[0]);
// 同页创建两个对等端,避免依赖外部信令服务。
sender = new RTCPeerConnection({ iceServers: [] });
receiver = new RTCPeerConnection({ iceServers: [] });
const remoteStream = new MediaStream();
remoteVideo.srcObject = remoteStream;
// 接收端把到达的轨道汇入同一个远端 MediaStream。
receiver.addEventListener("track", (event) => {
remoteStream.addTrack(event.track);
writeLog(`收到轨道: ${event.track.kind}`);
});
sender.addEventListener("connectionstatechange", () => {
writeLog(`发送端状态: ${sender.connectionState}`);
});
for (const track of localStream.getTracks()) {
sender.addTrack(track, localStream);
}
// 等待 ICE 收集完成后直接交换本地描述,模拟非 Trickle 信令。
await sender.setLocalDescription(await sender.createOffer());
await waitForIceComplete(sender);
await receiver.setRemoteDescription(sender.localDescription);
await receiver.setLocalDescription(await receiver.createAnswer());
await waitForIceComplete(receiver);
await sender.setRemoteDescription(receiver.localDescription);
writeLog("SDP offer/answer 已完成");
stopButton.disabled = false;
// 自动播放策略因浏览器而异,失败时保留手动播放入口。
try {
await remoteVideo.play();
} catch {
if (closeLoop) writeLog("自动播放不可用,可使用视频控件");
}
} catch (error) {
writeLog("环回失败:" + error.message);
closeLoop?.();
}
});
</script>
</body>
</html>在文件所在目录启动静态服务器:
python -m http.server 8000 --bind 127.0.0.1浏览器打开 http://127.0.0.1:8000,点击“启动本地 WebRTC 环回”。预期结果:
页面日志最终包含:
- 收到轨道: video
- 收到轨道: audio
- SDP offer/answer 已完成
- 发送端状态: connected
远端播放器显示持续变化的测试画面,并包含 1 条 video 轨道和 1 条 audio 轨道。点击关闭后会停止本地轨道、动画循环和 AudioContext,并释放两个连接。示例使用 iceServers: [],只验证同机环回和协商流程,不代表公网可达。真实部署应在配置中加入受控的 STUN 与 TURN 地址,并通过信令服务交换 SDP 和 ICE 候选。
生产接入与质量验证
接入数字人服务时,先确认服务端提供发送音频和视频的 sendonly 轨道,浏览器对应使用 recvonly 或正常收发方向。若需要用户麦克风打断数字人,再额外添加上行音频轨道,并在业务层定义静音、抢占和回声消除策略。
连接建立后应周期性读取 getStats(),重点观察往返时延、抖动、丢包、可用码率、实际帧率和丢帧数。视频卡顿但音频正常时,优先检查发送码率、关键帧、分辨率和解码负载;始终停留在 connecting 时,优先检查 ICE 候选交换、UDP 可达性和 TURN 凭证。
编解码器不要只在前端硬编码。服务端、浏览器和硬件解码能力必须存在交集,并为移动端或弱网准备较低分辨率和码率。公网测试至少覆盖企业网络、家庭路由器、移动网络、UDP 受限网络和 TURN 强制中继五种条件。
本课总结
- WebSocket 负责信令,WebRTC 负责加密的实时音视频媒体传输
- SDP 完成能力协商,ICE 配合 STUN 和 TURN 选择可达网络路径
- 上线验收必须同时检查连接状态、媒体轨道、编解码器和
getStats()质量指标
下一课预告
下一阶段可以把控制通道与媒体通道组合成完整会话,并继续加入弱网自适应、打断控制、质量监控和多实例调度,使数字人从“能够连接”提升到“能够稳定实时交互”。