音频开发 / 系统课时

组合实时通信中的播放混音

组合实时通信中的播放混音

实时通信里,远端语音、本地提示音和音效如果各自直接连扬声器,音量、处理顺序和回声边界很快会失控。本节用一条明确的播放总线把它们汇合,并把发送路径和本地播放路径分开,得到可扩展、可验证的混音结构。

学习目标

  • 区分远端播放、本地提示音与本地采集三类音频的路由职责。
  • 用 MediaStreamAudioSourceNode、GainNode 和压缩器搭建共享播放总线。
  • 通过路由检查避免把麦克风再次送入本地扬声器而制造回声或串音。

先划清播放混音边界

播放混音只处理“这个用户应该听到什么”。远端媒体流和本地提示音可以进入同一播放总线,再统一做总增益、压缩或限幅;本地麦克风则属于发送路径,应交给 RTCPeerConnection 的 sender,而不是再接回 AudioContext.destination。

实时通信播放混音的数据流

这条边界非常重要:回声消除可以帮助处理扬声器声音被麦克风重新采到的物理回授,但它不能修复应用自己把麦克风节点直接接到扬声器的逻辑错误。

构建共享播放总线

下面的可运行示例用一个合成的 MediaStream 模拟远端音频,再把一段本地提示音混入同一总线。将代码粘贴到浏览器控制台后,点击页面上生成的按钮即可听到两路声音经过同一个压缩器输出。

js
const startButton = document.createElement('button');
startButton.textContent = '启动播放混音示例';
document.body.append(startButton);

startButton.addEventListener('click', async () => {
  startButton.disabled = true;

  const context = new AudioContext();
  await context.resume();

  // 用 MediaStreamDestination 构造一条远端媒体流,便于独立演示。
  const remoteTransport = context.createMediaStreamDestination();
  const remoteGenerator = context.createOscillator();
  remoteGenerator.frequency.value = 220;
  remoteGenerator.connect(remoteTransport);
  remoteGenerator.start();

  const remoteSource = context.createMediaStreamSource(remoteTransport.stream);
  const remoteGain = context.createGain();
  remoteGain.gain.value = 0.18;

  // 所有播放音源先进入 mixBus,再统一做动态处理。
  const mixBus = context.createGain();
  const compressor = context.createDynamicsCompressor();
  compressor.threshold.value = -18;
  compressor.ratio.value = 4;
  mixBus.connect(compressor).connect(context.destination);

  remoteSource.connect(remoteGain).connect(mixBus);
  console.log('remote stream connected');

  const cue = context.createOscillator();
  const cueGain = context.createGain();
  cue.frequency.value = 660;
  cueGain.gain.value = 0.06;
  cue.connect(cueGain).connect(mixBus);
  cue.start(context.currentTime + 0.25);
  cue.stop(context.currentTime + 0.45);
  console.log('local cue mixed');

  setTimeout(async () => {
    remoteGenerator.stop();
    remoteSource.disconnect();
    await context.close();
    startButton.remove();
    console.log('playback demo stopped');
  }, 1500);
});

预期输出

text
remote stream connected
local cue mixed
playback demo stopped

实际 WebRTC 中不需要 remoteTransport 和 remoteGenerator。当 RTCPeerConnection 的 track 事件拿到远端 MediaStream 后,把该流交给 createMediaStreamSource(),后面的远端增益、共享总线和压缩器结构保持不变。

控制多路远端与提示音

多人通话时,每个远端流应拥有独立的源节点和 GainNode,再汇入共享总线。这样静音某个参与者只需要调整对应增益,不会影响其他人。短促提示音可以按需创建 AudioBufferSourceNode,播放结束后自然回收;共享的总线、压缩器和输出节点则应长期复用。

验证路由是否正确

验证时先只开远端音频,确认本地能听见且远端增益有效;再触发提示音,确认两路同时存在时不会削顶;最后打开麦克风并观察本地扬声器,麦克风本身不应因为应用路由而直接从扬声器播放。

如果出现回声,先检查是否存在麦克风节点到 destination 的连接,再检查页面里是否还有 HTMLAudioElement 同时播放同一远端流。一个远端流只保留一条本地播放路径,才能避免重复播放形成的相位叠加和串音。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

组合实时通信中的播放混音

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通