大模型应用开发 / 系统课时

转写音频内容

转写音频内容

音频转写不只是把声音变成一段文字。可用结果还要同时处理语言、时间戳、说话人、静音与噪声,并为不确定片段保留位置。把这些信息分层保存,后续才能做检索、字幕、会议纪要和人工复核。

学习目标

  • 把音频转写拆成识别、时间对齐、说话人和清洗四个层次
  • 根据单语、混合语言和噪声情况选择合适的转写策略
  • 生成既适合阅读又能回到原音频复核的结构化文本

先明确转写链路

稳定的转写链路通常先做音频标准化和语音活动检测,再进入语音识别;识别结果随后补时间戳、说话人分段,最后才做标点、格式和术语修正。不要在最前面就“润色”,否则错误会失去原始位置。

音频转写处理链路

每个识别片段最好至少保留 start、end、text 和说话人标签;如果引擎提供置信度,也应保存在结构化数据中,而不是直接把低置信度文本删除。删除会让后续复核无法判断“这里没有人说话”还是“这里没识别出来”。

选择语言与时间戳策略

已知音频几乎全是单一语言时,显式指定语言通常更稳定,也能减少模型在短片段上的误判。真正的混合语言场景再使用自动检测,并尽量按较长语音片段判断,不要对每个词频繁切换语言标签。

时间戳粒度取决于用途。做全文检索和会议纪要时,句段级时间戳通常足够;做字幕编辑、逐字审校或对齐训练数据时,才需要词级时间戳。粒度越细,处理成本和对齐误差也越值得关注。

处理噪声、重叠和说话人

降噪不是越强越好。过度消除背景声可能同时削弱辅音和低音量人声,反而降低识别率。更稳妥的做法是先做语音活动检测,跳过长静音;对低信噪比区段保留时间戳和低置信度标记,必要时单独重跑。

多人同时说话是最容易破坏说话人分段的情况。系统应允许“重叠说话”或“说话人不确定”这类状态,而不是强制把每一秒归给唯一的人。会议场景还要警惕频繁切换:若同一人连续说话却被切成多个标签,说明分段粒度可能过细。

把识别结果整理成可复核文本

下面示例不实现具体 ASR 引擎,而是演示所有引擎都需要的后处理层:保留时间范围、说话人和低置信度标记,再生成适合人工阅读的文本。示例可直接运行,不依赖第三方库。

python
from dataclasses import dataclass

@dataclass
class Segment:
    start: float
    end: float
    speaker: str
    text: str
    confidence: float

def stamp(seconds: float) -> str:
    total = int(seconds)
    return f"{total // 60:02d}:{total % 60:02d}"

def render(segment: Segment) -> str:
    # 低置信度片段保留原文,并显式标记供人工复核。
    uncertain = " [待复核]" if segment.confidence < 0.75 else ""
    text = " ".join(segment.text.strip().split())
    return (
        f"[{stamp(segment.start)}-{stamp(segment.end)}] "
        f"{segment.speaker}: {text}{uncertain}"
    )

segments = [
    Segment(0.0, 3.2, "SPEAKER_01", "大家好,今天确认 发布计划。", 0.96),
    Segment(3.2, 6.8, "SPEAKER_02", "周五 下午切换。", 0.68),
]

for segment in segments:
    print(render(segment))

预期输出:

text
[00:00-00:03] SPEAKER_01: 大家好,今天确认 发布计划。
[00:03-00:06] SPEAKER_02: 周五 下午切换。 [待复核]

这里故意没有自动改写“周五 下午”或补全专有名词。转写层首先要忠于识别结果;术语统一、数字校正和语句润色应放在后续步骤,并保留修改前文本。

验收与失败回退

验收时先看时间覆盖是否连续,再抽查低置信度、多人重叠、数字、日期、专有名词和长静音后的首句。若某个区段质量差,应只重跑该时间窗口,而不是整段音频全部重做。

适合生产使用的转写结果应同时保留两份数据:一份是便于阅读的整理稿,另一份是带时间戳、说话人和置信度的原始分段。前者服务人,后者负责追溯;两者分离后,清洗和润色才不会破坏可验证性。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

转写音频内容

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通