音频开发 / 系统课时

用 WER 评估识别准确率

用 WER 评估识别准确率

语音识别“看起来还行”并不足以判断模型是否可用。本节用 WER 和 CER 把参考文本与识别文本对齐,统计替换、删除、插入三类错误,并结合样本分组定位问题更可能来自模型、音频质量还是领域词汇。

学习目标

  • 理解 WER、CER 的计算方式以及替换、删除、插入的含义
  • 能用程序对一组参考文本和识别文本计算错误率
  • 能按场景分组解读指标,避免只看一个总体平均值

WER 到底衡量什么

WER(Word Error Rate,词错误率)把识别结果变成“将假设文本改成参考文本需要多少次编辑操作”的问题。设参考文本共有 NN 个词,最优对齐后有替换 SS、删除 DD、插入 II,则:

WER=S+D+INWER = \frac{S + D + I}{N}

替换表示参考词被识别成另一个词;删除表示参考词没有被识别出来;插入表示识别结果多出了参考文本中不存在的词。因为插入数量可能很多,所以 WER 理论上可以超过 100%。

中文没有天然空格分词边界,若分词规则不稳定,WER 会被分词方式显著影响。中文批量评测通常同时计算 CER(Character Error Rate,字符错误率),公式完全相同,只是基本单位从词换成字符。

用动态规划拆出三类错误

WER 的核心不是简单比较两个字符串,而是寻找最小编辑距离,并在回溯时区分替换、删除和插入。下面的 Python 示例直接对英文按空格分词;中文评测时可把 split() 换成统一的字符切分或稳定分词器。

python
from dataclasses import dataclass

@dataclass
class WerResult:
    substitutions: int
    deletions: int
    insertions: int
    reference_words: int

    @property
    def wer(self) -> float:
        return (self.substitutions + self.deletions + self.insertions) / self.reference_words

def calculate_wer(reference: str, hypothesis: str) -> WerResult:
    ref = reference.lower().split()
    hyp = hypothesis.lower().split()
    rows, cols = len(ref) + 1, len(hyp) + 1

    # dp[i][j] 保存 ref[:i] 与 hyp[:j] 的最小编辑次数。
    dp = [[0] * cols for _ in range(rows)]
    op = [[""] * cols for _ in range(rows)]

    for i in range(1, rows):
        dp[i][0], op[i][0] = i, "D"
    for j in range(1, cols):
        dp[0][j], op[0][j] = j, "I"

    for i in range(1, rows):
        for j in range(1, cols):
            if ref[i - 1] == hyp[j - 1]:
                dp[i][j], op[i][j] = dp[i - 1][j - 1], "M"
                continue
            candidates = [
                (dp[i - 1][j - 1] + 1, "S"),
                (dp[i - 1][j] + 1, "D"),
                (dp[i][j - 1] + 1, "I"),
            ]
            dp[i][j], op[i][j] = min(candidates, key=lambda item: item[0])

    substitutions = deletions = insertions = 0
    i, j = len(ref), len(hyp)
    while i > 0 or j > 0:
        current = op[i][j]
        if current == "M":
            i, j = i - 1, j - 1
        elif current == "S":
            substitutions += 1
            i, j = i - 1, j - 1
        elif current == "D":
            deletions += 1
            i -= 1
        else:
            insertions += 1
            j -= 1

    return WerResult(substitutions, deletions, insertions, len(ref))

if __name__ == "__main__":
    result = calculate_wer(
        "open the meeting notes today",
        "open meeting note today please",
    )
    print(f"S={result.substitutions}, D={result.deletions}, I={result.insertions}")
    print(f"WER={result.wer:.2%}")

预期输出

text
S=1, D=1, I=1
WER=60.00%

这个例子参考文本有 5 个词,共发生 3 次编辑,因此 WER 为 60%。实际项目中如果库函数给出的 S、D、I 与自研实现不同,先检查归一化和“存在多种最优对齐”时的选择规则,而不要只比较最终 WER。

先统一文本再比较

评测前应固定文本规范化规则,例如是否转小写、是否移除标点、数字写成 23 还是 twenty three、中文全角半角是否统一。参考文本和识别文本必须经过同一套规则,否则会制造大量并非识别能力导致的错误。

对于中文,CER 往往比 WER 更稳定。例如“语音识别系统”若被识别成“语音识别系統”,字符级只产生一次替换;如果分词器对两边切分不同,词级结果可能被放大。对搜索、字幕等最终依赖词语边界的业务,可以同时保留 WER 与 CER。

用错误结构判断问题来源

总体 WER 只能告诉你“错了多少”,不能告诉你“为什么错”。评测集至少应按音频条件和业务领域分组,例如安静录音、远场噪声、电话窄带、专业术语、数字日期等,并同时观察 S、D、I 的占比。

删除错误显著偏高,常见原因是音量过低、静音切分过度或远场语音被漏检;插入错误偏高,可能是噪声被误识别、端点检测拖得过长;替换错误集中在产品名或专业名词,则更像领域词表、语言模型或训练数据覆盖不足。

建立可复现的评测基线

一次评测至少保存模型版本、音频集版本、参考文本版本、规范化规则和指标脚本版本。模型更新后使用同一批固定样本复测,再补充新增难例,才能判断优化是真实提升还是测试集变化。

当总体 WER 下降但某个关键业务组变差时,不应直接宣告新模型更好。稳定的语音识别评测需要把“一个数字”拆成可解释的错误结构和场景分组,这样后续优化才有明确方向。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

用 WER 评估识别准确率

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通