AI 内容创作 / 系统课时

文本规范化与读法控制

文本规范化与读法控制

同一段文字中可能同时出现日期、金额、英文缩写、单位和专业词。若直接交给语音模型,读法容易随上下文或模型版本变化。本课将构建有优先级的规范化规则链,并用显式停顿和词典覆盖获得可测试、可回归的发音结果。

学习目标

  • 为日期、金额、英文缩写和符号设计稳定的转换规则
  • 使用词典、规则优先级和停顿标记控制读法与节奏
  • 编写可运行的规范化程序并核对转换结果

规范化规则链

文本规范化的目标不是改写语义,而是把书写形式转换为适合朗读的形式。处理顺序通常是字符清理、受保护词典匹配、结构化实体识别、数字与单位展开、英文处理、标点停顿映射,最后再检查未识别片段和规则冲突。

文本规范化与读法控制规则链

规则应从具体到一般执行。例如,先识别完整日期 2026-08-04,再处理普通整数;否则日期可能被拆成三个互不相关的数字。专业词典也应早于通用英文规则,否则产品名或人名可能被逐字母朗读。

常见实体的读法设计

日期中的年份通常逐位朗读,月份和日期按整数朗读;金额需要处理千分位、小数和币种;英文缩写可按字母、单词或词典指定读法处理。电话号码、版本号、序列号等数字串不能共用一种规则,必须依据业务类型区分。

输入类型 示例 推荐读法
日期 2026-08-04 二零二六年八月四日
金额 ¥1,234.50 一千二百三十四元五角
缩写 API A P I
版本号 2.1.0 二点一点零
百分比 12.5% 百分之十二点五

专业术语应维护“书写形式、标准读法、适用语言、优先级和版本”五项信息。词典变更后要用固定语料回归,避免修复一个词却破坏另一个词。对于无法可靠判断的缩写,应保留原文并记录告警,不应静默猜测。

停顿、重音与边界控制

标点可以映射为内部停顿标记,例如逗号对应短停顿,句号对应长停顿。内部标记应在接入具体服务前再转换成该服务支持的 SSML 或参数格式,避免业务正文直接绑定某一家接口。

停顿并非越多越自然。连续短句如果都插入长停顿,会造成播报割裂;数字、单位和量词之间则不应随意切分。验证时既要检查规范化文本,也要试听边界位置,并记录最终发送给合成服务的请求内容。

可运行的规范化示例

以下例子用 Python 3.11 标准库。只转换有效的四位年份日期、范围在 0 至 9999.99 的非负人民币金额和词典中的缩写。无效或超范围实体原样保留并输出警告。停顿使用结构化元素传递,不让业务文本里的方括号自动变成控制指令。

python
from datetime import date
import re

DIGITS = "零一二三四五六七八九"
UNITS = ("", "十", "百", "千")
LEXICON = {"API": "A P I", "TTS": "T T S"}
TOKEN = re.compile(
    r"(?P<date>(?<![0-9A-Za-z_-])[0-9]{4}-[0-9]{1,2}-[0-9]{1,2}(?![0-9A-Za-z_-]))"
    r"|(?P<amount>¥[ \t]*[+-]?[0-9][0-9.,A-Za-z_]*)"
    r"|(?P<abbr>(?<![A-Za-z0-9_])[A-Z]{2,}(?![A-Za-z0-9_]))"
    r"|(?P<break_>[,。])"
)
MONEY = re.compile(r"¥[ \t]*((?:0|[1-9][0-9]{0,3}|[1-9],[0-9]{3}))(?:\.([0-9]{1,2}))?")


def number(value):
    if not 0 <= value <= 9999:
        raise ValueError("out of range")
    if not value:
        return "零"
    text = str(value)
    result, pending_zero = [], False
    for i, ch in enumerate(text):
        digit = int(ch)
        power = len(text) - i - 1
        if not digit:
            pending_zero = True
            continue
        if pending_zero:
            result.append("零")
            pending_zero = False
        if not (digit == 1 and power == 1 and not result):
            result.append(DIGITS[digit])
        result.append(UNITS[power])
    return "".join(result)


def read_token(kind, token):
    if kind == "date":
        year, month, day = token.split("-")
        date(int(year), int(month), int(day))
        return "".join(DIGITS[int(ch)] for ch in year) + f"年{number(int(month))}月{number(int(day))}日"
    if kind == "amount":
        match = MONEY.fullmatch(token)
        if not match:
            raise ValueError("unsupported amount")
        integer, fraction = match.groups()
        jiao, fen = map(int, ((fraction or "") + "00")[:2])
        yuan = int(integer.replace(",", ""))
        suffix = (DIGITS[jiao] + "角") if jiao else ("零" if yuan and fen else "")
        suffix += (DIGITS[fen] + "分") if fen else ""
        return number(yuan) + "元" + (suffix or "整")
    if token not in LEXICON:
        raise ValueError("unknown abbreviation")
    return LEXICON[token]


def normalize(text):
    output, warnings = [], []
    start = 0
    for match in TOKEN.finditer(text):
        if match.start() > start:
            output.append({"text": text[start:match.start()]})
        kind, token = match.lastgroup, match[0]
        if kind == "break_":
            output.append({"pause_ms": 200 if token == "," else 400})
        else:
            try:
                output.append({"text": read_token(kind, token)})
            except ValueError:
                output.append({"text": token})
                warnings.append(kind)
        start = match.end()
    if start < len(text):
        output.append({"text": text[start:]})
    return output, warnings


if __name__ == "__main__":
    parts, warnings = normalize("请在2026-08-04支付¥1,234.50,调用API查询订单。")
    for part in parts:
        if "pause_ms" in part:
            print("停顿", part["pause_ms"], "ms")
        else:
            print(part["text"])
    print("警告", warnings)

将示例保存为 text_normalizer.py,运行 python text_normalizer.py。

text
请在
二零二六年八月四日
支付
一千二百三十四元五角
停顿 200 ms
调用
A P I
查询订单
停顿 400 ms
警告 []

例子按限定业务输入处理。不同币种、负数、较大金额、精度超过分或格式不完整时应另定义规则。接到支持 SSML 的服务时,适配器负责转义文本并生成允许的节点。遇到警告可使用保守读法,或对高风险数字要求确认,避免悄悄改写金额和日期。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

文本规范化与读法控制

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通