音频开发 / 系统课时

切分长文本并无缝拼接音频

切分长文本并无缝拼接音频

长文本直接一次性交给 TTS,常见问题是请求超限、超时、失败后整段重试,以及必须等很久才能开始播放。本课把文本按语义边界切成稳定分段,逐段合成统一格式的音频,再通过可控停顿拼接,得到更容易流式播放和失败重试的处理链路。

学习目标

  • 能按句子和长度上限切分文本,避免从词语或语义中间硬切
  • 能保持音色、语速、采样率等参数一致,降低段与段之间的听感跳变
  • 能正确拼接 PCM/WAV 音频,并为流式播放和局部重试保留分段边界

先确定切分边界

切分不能只做“每 N 个字符截一刀”。优先级应该是:段落边界高于句号、问号和感叹号,完整句子高于逗号,长度上限只是最后的兜底条件。这样既能控制单次请求大小,又尽量保留自然韵律。

工程上还要给引擎限制留安全余量。假设接口最多允许 1000 个字符,不要把每段目标长度也设成 1000;可以预留一部分空间给 SSML 标签、动态前后缀和不同语言的计数差异。

长文本流式合成的分段与拼接流程

保持每段合成参数一致

切分之后,所有分段必须共享同一组声音参数,包括 voice、语速、音调、采样率、声道数和编码格式。否则即使文本衔接正确,也会在段边界听到明显的音色变化或响度跳变。

如果目标是后续拼接,优先让引擎输出线性 PCM 或参数固定的 WAV。不要把多个 MP3、AAC 文件的字节直接首尾相接后当成一个新文件;压缩音频带有帧、头信息和编码延迟,正确做法通常是解码到统一 PCM 后再拼接,或者让播放器按独立分段顺序播放。

段间停顿也不要完全交给“文件天然空白”。同一引擎在不同句子末尾可能生成不同长度的静音。可以为句号等强边界补一个较短的固定停顿,再通过试听调整。对于连续语句,不建议盲目做交叉淡化,因为它可能把辅音和句首音节叠在一起。

用可运行程序验证切分与拼接

下面的 Python 程序完整演示“切分 → 逐段生成统一 PCM → 插入固定停顿 → 写成 WAV”的管线。为了不绑定任何云服务,mock_synthesize 用测试音代替真实语音;接入生产 TTS 时,只需把这个函数替换为实际合成调用,并保持返回的 PCM 参数一致。

python
import math
import re
import struct
import wave

SAMPLE_RATE = 16000
CHANNELS = 1
SAMPLE_WIDTH = 2

def split_text(text: str, max_chars: int = 22) -> list[str]:
    sentences = [s for s in re.split(r"(?<=[。!?!?])", text) if s]
    chunks: list[str] = []
    buffer = ""

    # 优先聚合完整句子,只有单句超限时才退化为定长切片。
    for sentence in sentences:
        if len(sentence) > max_chars:
            if buffer:
                chunks.append(buffer)
                buffer = ""
            chunks.extend(
                sentence[i:i + max_chars]
                for i in range(0, len(sentence), max_chars)
            )
        elif len(buffer) + len(sentence) <= max_chars:
            buffer += sentence
        else:
            chunks.append(buffer)
            buffer = sentence

    if buffer:
        chunks.append(buffer)
    return chunks

def mock_synthesize(text: str) -> bytes:
    # 这里只模拟每段都返回相同格式 PCM;生产环境替换为真实 TTS 调用。
    duration = max(0.18, len(text) * 0.025)
    frame_count = int(SAMPLE_RATE * duration)
    return b"".join(
        struct.pack(
            "<h",
            int(6000 * math.sin(2 * math.pi * 440 * i / SAMPLE_RATE)),
        )
        for i in range(frame_count)
    )

def silence(milliseconds: int) -> bytes:
    frame_count = SAMPLE_RATE * milliseconds // 1000
    return b"\x00\x00" * frame_count

def write_wav(path: str, pcm: bytes) -> None:
    with wave.open(path, "wb") as output:
        output.setnchannels(CHANNELS)
        output.setsampwidth(SAMPLE_WIDTH)
        output.setframerate(SAMPLE_RATE)
        output.writeframes(pcm)

if __name__ == "__main__":
    text = (
        "实时语音应用需要尽快开始播放。"
        "长文本应该按语义边界切分。"
        "所有分段必须使用一致的音色和采样率。"
    )
    chunks = split_text(text)

    pcm_parts: list[bytes] = []
    for index, chunk in enumerate(chunks, start=1):
        print(f"分段 {index}: {chunk}")
        pcm_parts.append(mock_synthesize(chunk))
        # 只在相邻分段之间增加停顿,避免文件尾部额外拖长。
        if index < len(chunks):
            pcm_parts.append(silence(80))

    write_wav("merged.wav", b"".join(pcm_parts))
    print("已写入 merged.wav,16000 Hz / mono / 16-bit")

预期输出:

text
分段 1: 实时语音应用需要尽快开始播放。
分段 2: 长文本应该按语义边界切分。
分段 3: 所有分段必须使用一致的音色和采样率。
已写入 merged.wav,16000 Hz / mono / 16-bit

运行后会得到 merged.wav。示例中的三个分段都是同样的 16000 Hz、单声道、16-bit PCM,因此可以安全拼接;真实 TTS 返回值也必须满足同样的格式约束,实际文件路径和合成耗时会因环境不同而变化。

让分段真正适合流式播放

实时播放时,不必等待全部分段合成完成。第一段成功后即可入播放队列,同时后台继续请求第二段。播放器只消费“已经完整合成并确认格式正确”的音频块,就能把首包等待时间从整篇合成耗时缩短到第一段合成耗时。

失败重试也应以分段为单位。每段记录自己的文本、序号、合成参数和状态,某一段超时只重试当前段,避免重新合成前面已经成功的音频。若并发请求多个分段,还要保证播放顺序按序号提交,而不是按网络返回先后直接播放。

验收时至少检查三件事:首段是否能提前播放、段边界是否出现异常长停顿或爆音、失败重试后音色参数是否仍一致。只要切分边界稳定、音频格式统一、顺序可控,长文本 TTS 就能从“单个大请求”变成可流式、可恢复的音频流水线。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

切分长文本并无缝拼接音频

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通