音频开发 / 系统课时

监控错误率延迟与资源占用

监控错误率延迟与资源占用

语音服务上线后,真正需要的是“出问题时能迅速定位”。本节把 ASR/TTS 请求量、错误率、处理时长、实时率、GPU 显存和队列积压放进同一套监控体系,并用统一请求标识把指标、日志与调用链串起来。

学习目标

  • 能为 ASR 与 TTS 建立覆盖请求、延迟、错误和资源的核心指标集
  • 能用队列、GPU 与实时率指标判断容量压力来自哪里
  • 能通过统一 request_id 关联日志、指标与链路追踪

先建立最小指标集

请求侧至少记录总请求数、成功数、失败数和处理时长直方图。语音业务还需要增加音频时长与实时率,因为“一个请求耗时 3 秒”对 1 秒语音和 60 秒语音代表完全不同的性能。

资源侧重点关注 CPU、内存、GPU 利用率、GPU 显存、活跃会话数和队列长度。队列积压尤其重要:它往往比错误率更早暴露容量不足。

指标 建议类型 主要用途
speech_requests_total Counter 请求量与错误率
speech_request_duration_seconds Histogram P95/P99 延迟
speech_audio_seconds_total Counter 处理音频总量
speech_rtf Histogram 推理是否跟得上实时输入
speech_queue_depth Gauge 是否出现排队
GPU 利用率/显存 Gauge 判断推理资源是否饱和

语音服务统一可观测性链路

暴露 Prometheus 指标

下面示例用 Python 暴露一个最小监控端点。真实服务中应把计时与计数放到实际 ASR/TTS 请求处理路径中,而不是单独模拟。

python
import random
import time

from prometheus_client import Counter, Gauge, Histogram, start_http_server

REQUESTS = Counter(
    "speech_requests_total",
    "Speech requests",
    ["service", "status"],
)
LATENCY = Histogram(
    "speech_request_duration_seconds",
    "Speech request latency",
    ["service"],
)
QUEUE_DEPTH = Gauge(
    "speech_queue_depth",
    "Pending speech jobs",
    ["service"],
)

def handle_asr() -> None:
    QUEUE_DEPTH.labels("asr").inc()
    started = time.perf_counter()
    try:
        time.sleep(random.uniform(0.05, 0.15))
        REQUESTS.labels("asr", "success").inc()
    finally:
        QUEUE_DEPTH.labels("asr").dec()
        LATENCY.labels("asr").observe(time.perf_counter() - started)

if __name__ == "__main__":
    start_http_server(9108)
    while True:
        handle_asr()

安装依赖并启动后,可直接检查指标端点:

bash
python -m pip install prometheus-client
python app.py

预期结果:进程持续运行,并在本机 9108 端口暴露 /metrics。实际启动时间和进程号可能不同。

再执行:

bash
curl -s http://127.0.0.1:9108/metrics | grep -E 'speech_requests_total|speech_queue_depth'

预期输出结构类似:

text
speech_requests_total{service="asr",status="success"} <VALUE>
speech_queue_depth{service="asr"} <VALUE>

生产环境还应通过 GPU exporter 或设备监控接口采集显存与 GPU 利用率,并给每个实例附加 service、model、instance 等稳定标签。不要把 request_id 放进 Prometheus 标签,否则高基数会显著增加存储与查询压力。

用统一标识串起日志与调用链

request_id 适合放进结构化日志,trace_id 适合跨网关、业务服务、模型服务和外部依赖传播。两者可以相同,也可以分别生成,但必须在日志中同时记录,确保从告警能够一路追到单次请求。

text
{"level":"INFO","service":"asr","request_id":"<ID>","trace_id":"<ID>","queue_wait_ms":12,"inference_ms":184,"status":"success"}

这类日志不是用来替代指标,而是用于解释异常样本。Prometheus 告诉你“P99 变差了”,日志与 Trace 则帮助确认究竟是排队、模型推理、网络还是下游依赖拖慢了请求。

用指标组合定位常见故障

当 P95/P99 上升且 speech_queue_depth 同步增长,而 GPU 利用率长期接近上限时,通常是容量不足;当延迟上升但队列很浅、GPU 也空闲,应继续检查网络、存储、依赖服务或锁竞争。

如果错误率突然上升而资源正常,则优先按错误码分组查看,例如超时、音频格式错误、模型加载失败和 OOM 不应混成一个总错误率。这样告警一触发,就能快速判断是输入问题、容量问题还是服务故障。

生产监控的关键不是“指标越多越好”,而是让请求量、延迟、错误、队列和资源形成因果链:先看到用户是否受影响,再沿统一请求标识追到具体请求,最后用资源与队列数据验证根因。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

监控错误率延迟与资源占用

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通