机器学习与深度学习 / 系统课时

排查超时与特征不一致

排查超时与特征不一致

推荐服务出现超时或结果突然漂移时,最忌讳只盯总耗时或模型分数。本节建立一条可复用的证据链:先按请求拆解链路耗时,再关联缓存和特征快照,最后通过降级或回滚验证根因是否消失。

学习目标

  • 能用 p95、p99 与分阶段耗时定位尾延迟集中在哪个环节
  • 能通过特征版本、时间戳和请求日志判断在线特征是否与预期一致
  • 能在降级或回滚后用同一组指标验证服务是否真正恢复

先把一次请求拆成可定位的链路

排查超时不能只看接口总耗时。推荐请求通常依次经过网关、召回、特征读取、排序和结果组装,只要其中一个阶段偶发阻塞,就可能让平均值仍然正常,而 p99 明显恶化。

建议让每次请求都携带统一的 requestId,并记录各阶段的开始时间、结束时间、缓存命中情况、特征版本和最终状态。这样才能把“请求慢”“缓存未命中”和“特征变化”关联到同一条请求上。

推荐请求超时与特征不一致的证据链

总耗时异常时,先比较各阶段的 p50、p95、p99,而不是直接重启服务。若只有特征阶段 p99 升高,应继续查远程特征服务、缓存穿透、热点 Key 或依赖超时;若所有阶段同时变慢,则更像线程池、网络、GC 或机器资源问题。

用缓存命中率解释尾延迟

缓存问题常表现为“绝大多数请求正常,少量请求特别慢”。平均耗时会掩盖这种现象,因此要把缓存命中率与慢请求逐条关联,而不是只看一个全局命中率。

下面的脚本模拟五次推荐请求,计算总耗时和各阶段 p99,并同时检查一次在线特征快照与基准快照的差异。脚本可独立运行。

python
import math

stages = {
    "gateway": [3, 4, 3, 4, 3],
    "recall": [12, 14, 13, 45, 15],
    "feature": [8, 9, 8, 120, 10],
    "rank": [20, 22, 21, 25, 20],
}
cache_hits = [True, True, True, False, True]

online_features = {
    "user_ctr": 0.21,
    "item_ctr": 0.14,
    "category_affinity": 0.73,
}
baseline_features = {
    "user_ctr": 0.18,
    "item_ctr": 0.14,
    "category_affinity": 0.73,
}

def percentile(values, p):
    ordered = sorted(values)
    index = max(0, math.ceil(len(ordered) * p) - 1)
    return ordered[index]

# 总耗时按同一次请求的各阶段相加,避免把不同请求的峰值错误拼接。
totals = [sum(items) for items in zip(*stages.values())]

for name, values in stages.items():
    print(f"{name} p99={percentile(values, 0.99)}ms")

print(f"total p99={percentile(totals, 0.99)}ms")
print(f"cache hit rate={sum(cache_hits) / len(cache_hits):.0%}")

for key, online_value in online_features.items():
    baseline_value = baseline_features[key]
    if online_value != baseline_value:
        print(f"feature mismatch: {key} online={online_value} baseline={baseline_value}")

预期输出

text
gateway p99=4ms
recall p99=45ms
feature p99=120ms
rank p99=25ms
total p99=194ms
cache hit rate=80%
feature mismatch: user_ctr online=0.21 baseline=0.18

这组结果已经形成两个明确线索:最慢请求的主要时间消耗集中在特征阶段,而且五次请求中恰好存在一次缓存未命中;同时 user_ctr 与基准快照不同。真实系统中应继续用相同 requestId 验证这两件事是否发生在同一请求上,不能仅凭时间接近就认定因果关系。

对比特征快照而不是只看模型输出

推荐结果异常时,只比较最终物品列表通常无法区分模型变化、特征变化和召回变化。更可靠的方法是在排序入口保存一份轻量特征快照,并至少带上 feature_version、feature_timestamp、特征来源和关键值。

重点检查三类不一致:同一个用户在相近时间使用了不同特征版本;实时特征时间戳明显落后于请求时间;线上取值与离线回放或基准快照不同。若特征来自多个存储,还要确认默认值逻辑是否一致,因为缓存未命中后走数据库或远程服务时,很容易触发另一套缺省规则。

如果只有特定机器或实例出现差异,还要继续比较配置版本、本地缓存更新时间和进程启动时间。相同模型版本并不代表相同特征输入,特征链路才是排序结果可复现的前提。

按证据顺序缩小根因

故障排查应保持固定顺序,避免一上来同时改缓存、模型和配置,导致最后无法确认哪项修改真正生效。

  1. 选择一批异常 requestId,确认超时或推荐漂移能够被日志复现。
  2. 对比网关、召回、特征、排序各阶段 p95 和 p99,先确定异常集中位置。
  3. 对慢请求检查缓存 hit/miss、远程依赖耗时和超时次数,判断是否存在缓存穿透或依赖抖动。
  4. 对结果异常请求比较特征版本、时间戳、关键值和默认值来源,确认是否存在快照差异。
  5. 根因明确后只执行一种最小变更,例如开启缓存降级、切换备用特征源或回滚特征版本。
  6. 使用原来的指标和请求样本重新验证,确认尾延迟和特征差异同时消失。

如果开启降级后 p99 立即恢复,但特征一致性仍未恢复,说明降级只解决了可用性,没有解决数据正确性。反过来,特征版本回滚后结果恢复但超时仍存在,则延迟问题应继续沿缓存或依赖链路排查。

用故障前后指标完成恢复验证

恢复验证至少要覆盖延迟、错误率、缓存和特征四组证据。只看到“接口又能访问了”还不足以宣布故障结束。

证据 故障期现象 恢复判定
p95 / p99 延迟 尾延迟明显升高 回到历史稳定区间
超时与错误率 超时请求增加 连续观察窗口内恢复基线
缓存命中率 异常下降或波动 命中率恢复且慢请求不再集中于 miss
特征版本与快照 版本混用或关键值不同 同类请求使用预期版本且差异消失
推荐结果 排序结果异常漂移 回放样本重新满足验收条件

最后保留故障发生时间、异常请求样本、关键日志、指标截图或导出数据、执行过的降级或回滚动作,以及恢复后的同口径指标。这样下一次再出现相似问题时,可以直接沿已有证据链判断是尾延迟、缓存异常还是特征不一致,而不是重新从猜测开始。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

排查超时与特征不一致

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通