音频开发 / 系统课时

发送流式音频并增量转写

发送流式音频并增量转写

实时语音识别不是“录完再上传”,而是边采集边发送、边接收识别结果。核心是控制音频帧大小与发送节奏,并正确区分会反复变化的 partial 结果和已经确认的 final 结果,让界面能持续更新而不重复拼接文本。

学习目标

  • 理解音频帧、流式连接、partial 与 final 的协作关系。
  • 能实现“发送音频帧 → 接收增量结果 → 更新界面”的最小处理链路。
  • 能用序号和状态约束避免重复显示、乱序覆盖和结束过早。

实时链路如何工作

一条典型链路同时存在三个方向:采集端持续产生 PCM 音频帧,客户端通过 WebSocket 等长连接上传音频,识别服务再异步返回增量文本。发送和接收不能互相阻塞,否则网络抖动会直接拖慢录音采集。

流式语音识别数据流

音频帧通常按固定时长切分,例如每 20~100 ms 一帧。帧太大,会增加首字延迟;帧太小,则会增加发送次数和协议开销。真正的取值还要结合采样率、编码格式、网络 RTT 和识别服务限制。

partial 与 final 的语义

partial 表示“当前最佳猜测”,后续可能被覆盖。例如先返回“今天北京天”,随后修正为“今天北京天气”。因此 partial 不能直接追加到全文尾部,而应覆盖当前未确认区域。

final 表示当前语音片段已经确认。收到 final 后,才能把这段文本加入已确认内容,并清空当前 partial。一个简单可靠的状态可以只保留两部分:committedText 与 partialText。

最小可运行处理器

下面用一个自包含 JavaScript 示例模拟 WebSocket。它连续发送三个音频帧,并依次收到两个 partial 和一个 final。真实项目只需要把 MockSocket 换成实际长连接,并把 sendAudioFrame 的输入替换成采集到的二进制音频帧。

js
class MockSocket {
  constructor(onMessage) {
    this.onMessage = onMessage;
  }

  send(frame) {
    console.log(`send ${frame.byteLength} bytes`);
  }

  emit(message) {
    this.onMessage(JSON.stringify(message));
  }
}

let committedText = "";
let partialText = "";

function render() {
  console.log(`UI: ${committedText}${partialText}`);
}

function handleRecognitionMessage(raw) {
  const message = JSON.parse(raw);

  // partial 只覆盖可变区,final 才进入已确认区。
  if (message.type === "partial") {
    partialText = message.text;
  } else if (message.type === "final") {
    committedText += message.text;
    partialText = "";
  }

  render();
}

const socket = new MockSocket(handleRecognitionMessage);

function sendAudioFrame(samples) {
  // 示例使用 Int16Array 表示已编码好的 PCM16 音频帧。
  socket.send(samples.buffer);
}

sendAudioFrame(new Int16Array(320));
sendAudioFrame(new Int16Array(320));
sendAudioFrame(new Int16Array(320));

socket.emit({ type: "partial", text: "今天北京天" });
socket.emit({ type: "partial", text: "今天北京天气" });
socket.emit({ type: "final", text: "今天北京天气很好。" });

预期输出:

text
send 640 bytes
send 640 bytes
send 640 bytes
UI: 今天北京天
UI: 今天北京天气
UI: 今天北京天气很好。

这里每帧是 320 个 16 位采样点,因此大小为 640 字节。真实系统的帧长必须由采样率推导,例如 16 kHz 单声道 PCM16 下,20 ms 音频对应 320 个采样点。

处理顺序与结束条件

生产实现还需要给识别事件附带递增序号或服务端时间戳。客户端只接受不早于当前状态的结果,防止网络重传或乱序消息覆盖较新的文本。如果服务协议提供 segmentId,应按片段分别维护状态,而不是把所有结果混在一个字符串里。

停止录音时也不要立即关闭连接。更稳妥的顺序是先停止采集,再发送“音频结束”信号,继续接收剩余结果,直到服务端确认最后一个 final 或返回结束事件,然后再关闭连接。这样可以避免最后几个词还在服务端解码时就被客户端截断。

验证时重点观察三件事:音频帧是否持续按节奏发送、partial 是否只覆盖当前可变文本、final 是否只提交一次。只要这三条成立,实时采集到增量转写的主链路就已经闭合。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

发送流式音频并增量转写

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通