大模型应用开发 / 系统课时

记录链路监控指标

记录链路监控指标

生产环境中的 RAG 不能只记录“请求成功或失败”。要判断检索是否变慢、模型是否变贵、缓存是否失效,需要把请求量、阶段耗时、令牌、命中率和错误率放到同一条链路中采集,并保证每次请求都能关联到同一个追踪标识。

学习目标

  • 能区分流量、延迟、成本、质量代理和错误类指标
  • 能在一次 RAG 请求中记录检索与模型阶段数据
  • 能从命中率和错误率变化判断常见异常方向

建立最小指标集合

请求量回答“系统有多忙”,检索耗时与模型耗时回答“时间花在哪里”,令牌消耗回答“生成成本是否异常”,命中率用于观察缓存或检索复用效果,错误率用于识别不可用程度。生产监控至少应保留总量与分阶段数据,避免只记录一个端到端耗时。

推荐把指标分为计数器和可聚合数值两类:请求数、错误数、缓存命中数用计数器;检索毫秒数、模型毫秒数、输入与输出令牌用直方图或汇总值。本文示例用内存累加器演示字段关系,真实系统应接入可持久化的指标后端。

在请求边界统一采集

下面的代码模拟三次请求,并在同一个记录函数里收集请求量、阶段耗时、令牌、缓存命中和错误。这样业务代码只需要在请求完成时提交一次观测结果,避免不同分支漏记指标。

python
from dataclasses import dataclass

@dataclass
class Metrics:
    requests: int = 0
    errors: int = 0
    cache_hits: int = 0
    retrieval_ms_total: int = 0
    model_ms_total: int = 0
    input_tokens: int = 0
    output_tokens: int = 0

    def record(self, retrieval_ms: int, model_ms: int,
               input_tokens: int, output_tokens: int,
               cache_hit: bool, error: bool) -> None:
        self.requests += 1
        self.errors += int(error)
        self.cache_hits += int(cache_hit)
        self.retrieval_ms_total += retrieval_ms
        self.model_ms_total += model_ms
        self.input_tokens += input_tokens
        self.output_tokens += output_tokens

    def snapshot(self) -> str:
        hit_rate = self.cache_hits / self.requests
        error_rate = self.errors / self.requests
        return (
            f"requests={self.requests}\n"
            f"retrieval_ms_total={self.retrieval_ms_total}\n"
            f"model_ms_total={self.model_ms_total}\n"
            f"tokens={self.input_tokens + self.output_tokens}\n"
            f"cache_hit_rate={hit_rate:.2f}\n"
            f"error_rate={error_rate:.2f}"
        )

metrics = Metrics()
metrics.record(40, 120, 300, 80, False, False)
metrics.record(10, 90, 200, 60, True, False)
metrics.record(35, 0, 150, 0, False, True)
print(metrics.snapshot())

预期输出:

text
requests=3
retrieval_ms_total=85
model_ms_total=210
tokens=790
cache_hit_rate=0.33
error_rate=0.33

这里使用固定样例值,所以输出可复现;接入真实链路后,耗时应记录实际 <TIME>,请求 ID 等动态标识使用 <ID>。

用指标组合定位问题

单个指标通常不能直接说明根因。请求量稳定而模型耗时上升,优先检查模型服务或上下文长度;检索耗时上涨且命中率下降,应检查缓存策略、索引或向量库负载;令牌数持续增加但请求量不变,可能是提示词膨胀、召回文档过多或截断策略失效。

错误率也要按阶段拆分。检索错误、模型限流、超时和应用内部异常应使用不同错误类型,否则告警只能告诉你“失败了”,不能告诉你应该先查哪里。对外展示的总错误率可以聚合,但原始指标要保留可下钻维度。

让指标可以被告警使用

告警阈值应优先基于时间窗口和分位数,例如“过去 5 分钟 P95 模型耗时持续超阈值”,而不是一次尖峰就报警。缓存命中率和令牌量更适合观察趋势,错误率与超时率则适合较短窗口快速发现故障。

把“请求量—阶段耗时—令牌—命中率—错误率”放在同一请求边界采集后,RAG 的性能、成本与可靠性才具备可比较的生产基线。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

记录链路监控指标

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通