计算机视觉 / 系统课时

监控线上模型

监控线上模型

模型成功部署不代表任务结束,线上输入、流量和运行环境会持续变化。本课将建立最小监控闭环,把请求量、延迟、异常、预测分布和漂移指标放在同一条链路中,并给出可执行的告警判断示例。

学习目标

  • 区分服务可用性、预测行为和真实业务效果三类监控信号
  • 计算请求量、P95 延迟、异常率、类别分布和 PSI 漂移指标
  • 按固定顺序定位告警,并判断应修复服务、调整阈值还是回滚模型

先把监控拆成四层

第一层是流量,包括请求量、并发量和输入来源;第二层是系统性能,包括排队时间、预处理、推理、后处理延迟以及 CPU、GPU、显存;第三层是预测行为,包括类别、框数量、置信度和空结果比例;第四层才是真实效果,需要抽样标注、用户反馈或业务结果来计算准确率。

线上通常无法立即获得真值,因此类别分布或平均置信度只能提示风险,不能直接证明准确率下降。可靠做法是用实时代理指标发现异常,再通过带标签样本确认是否需要重训或回滚。

线上模型监控与漂移验证闭环

定义指标与告警门槛

告警阈值应来自服务等级目标和稳定期基线,而不是长期照搬固定数字。下面的数值只用于演示起始规则,部署后应按模型、硬件和业务峰谷分别校准。

指标 计算方式 示例门槛 首要检查
请求量 时间窗口内请求数 较同周期下降 40% 网关、调用方、采样
P95 延迟 95% 请求不超过的耗时 高于 100 ms 排队、GPU、批处理
异常率 异常请求数 ÷ 总请求数 高于 5% 输入、模型加载、资源
PSI 基线与当前分布差异 高于 0.25 数据源、场景、类别分布

PSI 对每个区间或类别计算 (ci−bi)ln⁡(ci/bi)(c_i-b_i)\ln(c_i/b_i) 后求和,其中 bib_i 是基线占比,cic_i 是当前占比。类别缺失时要加入很小的平滑值,避免除零或对零取对数。

用可运行脚本验证监控逻辑

下面的完整脚本模拟 10 次推理记录,计算请求量、P95 延迟、异常率、成功请求的类别分布和 PSI,并依据示例阈值生成告警。真实服务中应把同样的字段写入指标系统或结构化日志。

python
import json
import math
from collections import Counter

BASELINE = {"person": 0.60, "car": 0.30, "dog": 0.10}
RECORDS = [
    {"latencyMs": 42, "error": False, "class": "car"},
    {"latencyMs": 45, "error": False, "class": "car"},
    {"latencyMs": 47, "error": False, "class": "person"},
    {"latencyMs": 50, "error": False, "class": "car"},
    {"latencyMs": 52, "error": False, "class": "car"},
    {"latencyMs": 55, "error": False, "class": "dog"},
    {"latencyMs": 58, "error": False, "class": "car"},
    {"latencyMs": 62, "error": False, "class": "person"},
    {"latencyMs": 68, "error": False, "class": "car"},
    {"latencyMs": 120, "error": True, "class": None},
]

def percentile_nearest_rank(values: list[int], percent: float) -> int:
    ordered = sorted(values)
    index = math.ceil(percent * len(ordered)) - 1
    return ordered[index]

def class_distribution(records: list[dict]) -> dict[str, float]:
    classes = [record["class"] for record in records if not record["error"]]
    counts = Counter(classes)
    total = len(classes)
    return {name: counts[name] / total for name in BASELINE}

def population_stability_index(
    baseline: dict[str, float], current: dict[str, float]
) -> float:
    epsilon = 1e-6
    total = 0.0
    for name in baseline:
        expected = max(baseline[name], epsilon)
        actual = max(current[name], epsilon)
        total += (actual - expected) * math.log(actual / expected)
    return total

def main() -> None:
    request_count = len(RECORDS)
    error_count = sum(record["error"] for record in RECORDS)
    current = class_distribution(RECORDS)
    p95 = percentile_nearest_rank(
        [record["latencyMs"] for record in RECORDS], 0.95
    )
    error_rate = error_count / request_count
    psi = population_stability_index(BASELINE, current)

    alerts = []
    if p95 > 100:
        alerts.append("P95_LATENCY_HIGH")
    if error_rate > 0.05:
        alerts.append("ERROR_RATE_HIGH")
    if psi > 0.25:
        alerts.append("OUTPUT_DISTRIBUTION_DRIFT")

    # 保留稳定字段名,方便后续接入 Prometheus、日志平台或告警系统
    summary = {
        "requestCount": request_count,
        "p95LatencyMs": p95,
        "errorRate": round(error_rate, 4),
        "classDistribution": {
            name: round(value, 4) for name, value in current.items()
        },
        "psi": round(psi, 4),
        "alerts": alerts,
    }
    print(json.dumps(summary, ensure_ascii=False, indent=2))

if __name__ == "__main__":
    main()

预期输出

json
{
  "requestCount": 10,
  "p95LatencyMs": 120,
  "errorRate": 0.1,
  "classDistribution": {
    "person": 0.2222,
    "car": 0.6667,
    "dog": 0.1111
  },
  "psi": 0.6692,
  "alerts": [
    "P95_LATENCY_HIGH",
    "ERROR_RATE_HIGH",
    "OUTPUT_DISTRIBUTION_DRIFT"
  ]
}

把指标接入线上链路

每次请求应携带可追踪的请求 ID,并记录模型版本、输入来源、各阶段耗时、检测数量、主要类别、置信度统计和异常类型。原始图片通常不应直接写入日志,可按合规要求保存脱敏后的抽样数据或对象存储引用。

实时计数和延迟直方图适合进入时序指标系统;单请求明细适合进入结构化日志;输入与预测分布适合按小时或天汇总。仪表盘必须能按模型版本、设备、区域、调用方和时间窗口切分,否则总体均值会掩盖局部退化。

发现漂移后的定位顺序

先确认采样、埋点和基线窗口没有变化,再按调用方、区域、设备和模型版本切片。随后比较图像尺寸、亮度、目标数量、类别和置信度分布,定位变化来自数据源还是模型服务。最后抽取告警窗口样本补充真值,重新计算精确率、召回率或业务成功率。

只有服务错误或资源瓶颈时,应优先修复部署与容量;输入合法但新场景明显增加时,应补充数据并重训;新版本独有且影响业务时,可以先回滚到已验证版本。单独看到 PSI 升高,不应直接宣布模型失效。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

监控线上模型

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通