AI 内容创作 / 系统课时

情感语音与韵律控制

情感语音与韵律控制

数字人的声音不仅要把文字读对,还要让语气符合角色身份、对话意图和当前场景。本课将把情感标签、参考音频、韵律参数与文本标记整理为一条可验证的控制链路,并通过可运行示例生成供应商无关的合成请求。

学习目标

  • 区分情感标签、参考音频、韵律参数和文本标记的职责
  • 设计稳定的控制优先级与参数边界
  • 生成可校验、可映射到语音合成接口的分段请求

控制入口与优先级

情感语音通常同时接收角色基线、场景情绪、局部强调和参考音频。若这些来源没有明确优先级,同一句话可能出现语速忽快忽慢、音高突变或情绪覆盖角色设定的问题。工程上应先固定角色音色与基础说话风格,再叠加场景级情绪,最后处理局部停顿、重音和语速变化。

情感语音与韵律控制链路

推荐的优先级是:发音词典与安全规则最高,文本语义和标点其次,角色基线高于临时情绪,局部强调只作用于目标片段。参考音频用于提供整体音色或风格时,也应经过相似度、噪声和授权检查,不能直接覆盖不可变的角色约束。

控制入口 主要作用 适合粒度 典型风险
情感标签 指定平静、严肃、兴奋等总体语气 句子或段落 标签过强导致表演夸张
参考音频 提供音色、节奏或表达风格 整段 噪声、内容泄漏、风格漂移
韵律参数 控制语速、音高、音量和停顿 片段 参数越界导致不自然
文本标记 标出重音、停顿和局部情绪 词语或短句 标记嵌套错误或切分破坏语义

韵律参数与文本标记

语速通常用相对倍率表示,1.0 代表基准速度;音高可用半音 st 表示;音量可用相对分贝表示;停顿使用毫秒更便于跨接口映射。服务型数字人应优先采用小范围调整,例如语速保持在 0.85 到 1.15,音高控制在约 -3 st 到 3 st,避免为了突出情绪而破坏可懂度。

文本标记应围绕语义边界放置。逗号、句号和问号先决定自然停顿,再由局部标签调整重音或情绪。参考音频更适合约束整体风格,局部文本标记更适合控制一句话内部的变化;两者冲突时,应保留角色基线并削弱局部参数。

完整可运行示例

下面的 Python 程序不调用特定语音供应商,而是把带标签文本转换为结构化请求。将代码保存为 emotion_prosody_demo.py;真实接入时核对每个声音和接口支持的参数,并为不支持的局部风格明确拒绝或降级。

python
from dataclasses import asdict, dataclass
import json
import re


@dataclass(frozen=True)
class Prosody:
    rate: float
    pitch_st: float
    volume_db: float
    pause_ms: int


PROFILES = {
    "neutral": Prosody(1.0, 0.0, 0.0, 100),
    "warm": Prosody(.96, 1.0, 0.0, 120),
    "serious": Prosody(.90, -1.5, .5, 180),
    "emphasis": Prosody(.88, 1.8, 1.5, 220),
}
TAG = re.compile(r"(\[/?[a-z]+\])")


def build_request(marked_text):
    if not isinstance(marked_text, str) or len(marked_text) > 2000:
        raise ValueError("invalid text")
    segments, active = [], None
    tag_start = 0

    def add(text, style):
        if text.strip():
            segments.append({"text": text, "style": style, "prosody": asdict(PROFILES[style])})

    for part in TAG.split(marked_text):
        if TAG.fullmatch(part):
            name = part.strip("[]")
            if name.startswith("/"):
                if active is None or name[1:] != active or tag_start == len(segments):
                    raise ValueError("invalid closing or empty style")
                active = None
            else:
                if active is not None or name not in PROFILES:
                    raise ValueError("unknown or nested style")
                active, tag_start = name, len(segments)
        else:
            if "[" in part or "]" in part:
                raise ValueError("malformed style markup")
            add(part, active or "neutral")
    if active is not None or not segments:
        raise ValueError("unclosed style or empty request")
    return {"voiceRole": "service-assistant", "sampleRate": 24000, "segments": segments}


if __name__ == "__main__":
    request = build_request("提示:[warm]您好。[/warm][emphasis]请核对订单状态。[/emphasis]")
    for segment in request["segments"]:
        print(json.dumps(segment, ensure_ascii=False))

运行 python emotion_prosody_demo.py。预期输出如下。

text
{"text": "提示:", "style": "neutral", "prosody": {"rate": 1.0, "pitch_st": 0.0, "volume_db": 0.0, "pause_ms": 100}}
{"text": "您好。", "style": "warm", "prosody": {"rate": 0.96, "pitch_st": 1.0, "volume_db": 0.0, "pause_ms": 120}}
{"text": "请核对订单状态。", "style": "emphasis", "prosody": {"rate": 0.88, "pitch_st": 1.8, "volume_db": 1.5, "pause_ms": 220}}

这一简化语法由应用生成,只允许平铺标签。用户自由文本应直接放进普通片段。情绪属于表达风格,强调只改变局部韵律。适配器需转义文本,并防止模型停顿、标点停顿和外加静音重复叠加。预置参数并不能保证主观情绪符合预期。

调参与验收## 调参与验收

调参时应使用固定文本做单变量对比:先锁定音色,只改语速;再锁定语速,只改音高或停顿。验收至少覆盖角色一致性、情绪匹配、可懂度、数字与专有名词发音、句间衔接五项,并保存文本、参数、模型版本和音频结果,保证问题可以复现。

常见错误包括把整段文本统一标成强情绪、同时大幅修改多个参数,以及使用包含背景音乐或混响的参考音频。修复时先退回中性基线,再逐项增加控制;若接口不支持局部参数,可按语义分段合成,再按需要插入停顿或做短淡入淡出。试听确认没有吞音、接缝或重复停顿。

本课总结

  • 情感控制应以角色基线为中心,按场景情绪和局部韵律逐层叠加
  • 参数必须限幅并围绕语义边界分段,避免情绪突变和可懂度下降
  • 稳定交付依赖固定文本、单变量对比和可追溯的参数记录

下一课预告

下一课将学习“流式合成与语音质量评估”,把分句请求转换为连续音频块,并用首包延迟、实时率、自然度和异常发音等指标验证实际效果。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

情感语音与韵律控制

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通