大模型应用开发 / 系统课时
记录链路监控指标
记录链路监控指标
生产环境中的 RAG 不能只记录“请求成功或失败”。要判断检索是否变慢、模型是否变贵、缓存是否失效,需要把请求量、阶段耗时、令牌、命中率和错误率放到同一条链路中采集,并保证每次请求都能关联到同一个追踪标识。
学习目标
- 能区分流量、延迟、成本、质量代理和错误类指标
- 能在一次 RAG 请求中记录检索与模型阶段数据
- 能从命中率和错误率变化判断常见异常方向
建立最小指标集合
请求量回答“系统有多忙”,检索耗时与模型耗时回答“时间花在哪里”,令牌消耗回答“生成成本是否异常”,命中率用于观察缓存或检索复用效果,错误率用于识别不可用程度。生产监控至少应保留总量与分阶段数据,避免只记录一个端到端耗时。
推荐把指标分为计数器和可聚合数值两类:请求数、错误数、缓存命中数用计数器;检索毫秒数、模型毫秒数、输入与输出令牌用直方图或汇总值。本文示例用内存累加器演示字段关系,真实系统应接入可持久化的指标后端。
在请求边界统一采集
下面的代码模拟三次请求,并在同一个记录函数里收集请求量、阶段耗时、令牌、缓存命中和错误。这样业务代码只需要在请求完成时提交一次观测结果,避免不同分支漏记指标。
from dataclasses import dataclass
@dataclass
class Metrics:
requests: int = 0
errors: int = 0
cache_hits: int = 0
retrieval_ms_total: int = 0
model_ms_total: int = 0
input_tokens: int = 0
output_tokens: int = 0
def record(self, retrieval_ms: int, model_ms: int,
input_tokens: int, output_tokens: int,
cache_hit: bool, error: bool) -> None:
self.requests += 1
self.errors += int(error)
self.cache_hits += int(cache_hit)
self.retrieval_ms_total += retrieval_ms
self.model_ms_total += model_ms
self.input_tokens += input_tokens
self.output_tokens += output_tokens
def snapshot(self) -> str:
hit_rate = self.cache_hits / self.requests
error_rate = self.errors / self.requests
return (
f"requests={self.requests}\n"
f"retrieval_ms_total={self.retrieval_ms_total}\n"
f"model_ms_total={self.model_ms_total}\n"
f"tokens={self.input_tokens + self.output_tokens}\n"
f"cache_hit_rate={hit_rate:.2f}\n"
f"error_rate={error_rate:.2f}"
)
metrics = Metrics()
metrics.record(40, 120, 300, 80, False, False)
metrics.record(10, 90, 200, 60, True, False)
metrics.record(35, 0, 150, 0, False, True)
print(metrics.snapshot())预期输出:
requests=3
retrieval_ms_total=85
model_ms_total=210
tokens=790
cache_hit_rate=0.33
error_rate=0.33这里使用固定样例值,所以输出可复现;接入真实链路后,耗时应记录实际 <TIME>,请求 ID 等动态标识使用 <ID>。
用指标组合定位问题
单个指标通常不能直接说明根因。请求量稳定而模型耗时上升,优先检查模型服务或上下文长度;检索耗时上涨且命中率下降,应检查缓存策略、索引或向量库负载;令牌数持续增加但请求量不变,可能是提示词膨胀、召回文档过多或截断策略失效。
错误率也要按阶段拆分。检索错误、模型限流、超时和应用内部异常应使用不同错误类型,否则告警只能告诉你“失败了”,不能告诉你应该先查哪里。对外展示的总错误率可以聚合,但原始指标要保留可下钻维度。
让指标可以被告警使用
告警阈值应优先基于时间窗口和分位数,例如“过去 5 分钟 P95 模型耗时持续超阈值”,而不是一次尖峰就报警。缓存命中率和令牌量更适合观察趋势,错误率与超时率则适合较短窗口快速发现故障。
把“请求量—阶段耗时—令牌—命中率—错误率”放在同一请求边界采集后,RAG 的性能、成本与可靠性才具备可比较的生产基线。