机器学习与深度学习 / 系统课时

用缓存与降级守住延迟预算

用缓存与降级守住延迟预算

在线推荐接口的难点不是让平均延迟更低,而是在用户向量、候选集、物品特征等下游偶发变慢时,仍能把 P95/P99 控制在预算内。本节给出缓存分层、过期策略、回源保护与超时降级的完整落地方式,并用一个可运行示例验证“慢依赖不会拖垮整条链路”。

学习目标

  • 为用户向量、热门候选和物品特征选择合适的缓存粒度、TTL 与更新方式。
  • 设计缓存穿透、缓存失效和回源失败时的保护策略。
  • 用超时、旧值兜底和热门结果降级守住推荐接口延迟预算。

先拆清楚延迟预算

假设推荐接口的目标是 P95 不超过 120 ms。这个 120 ms 不能全部留给排序模型,而要按链路拆分,例如缓存读取 10 ms、候选召回 35 ms、特征补全 25 ms、模型排序 35 ms、结果组装与网络余量 15 ms。这样一旦某个阶段逼近上限,就能在局部触发降级,而不是等到整个请求超时。

缓存的作用也不是“把所有东西都存起来”,而是优先覆盖读取频繁、允许短时间陈旧、回源代价高的数据。推荐链路中,用户向量、热门候选和物品特征通常都满足这个条件,但三者的更新频率和一致性要求不同。

数据 推荐缓存方式 典型 TTL 思路 失效后的首选动作
用户向量 按用户 ID 缓存 分钟级,活跃用户可异步刷新 回源用户画像服务,超时则用旧向量或默认向量
热门候选 按场景或频道缓存 秒到分钟级 直接使用最近一版热门列表
物品特征 按 item ID 批量缓存 分钟到小时级 批量回源,缺失项使用默认特征或过滤

TTL 不宜所有 key 同一时刻到期。生产环境应在基础 TTL 上增加小幅随机抖动,避免大量 key 同时失效形成缓存雪崩。

把缓存与降级放进同一条请求链

推荐接口应先命中本地或远端缓存,再决定是否回源;回源必须受超时控制,失败时优先返回可接受的旧数据。真正需要保护的是“请求是否还能在预算内完成”,而不是“这次是否拿到了最新数据”。

推荐请求中的缓存、回源与降级链路

可以把策略概括为四层:命中缓存直接返回;未命中时尝试回源;回源超时则使用旧值;旧值也不存在时才进入业务级降级。对于热门候选,业务级降级通常仍能给出合理结果;对于用户向量,则可以退化为人群向量或全局默认向量。

用可运行示例验证超时降级

下面的 Python 示例模拟用户向量缓存。缓存命中直接返回;缓存过期后允许短时间使用旧值;真正回源时设置 50 ms 超时;若下游更慢,则立即退回旧向量。

python
import asyncio
import time

CACHE = {
    "u-1": {
        "value": [0.2, 0.7, 0.1],
        "expire_at": time.time() - 1,
        "stale_until": time.time() + 30,
    }
}

async def load_user_vector_from_source(user_id: str):
    await asyncio.sleep(0.2)
    return [0.3, 0.6, 0.1]

async def get_user_vector(user_id: str):
    cached = CACHE.get(user_id)
    now = time.time()

    if cached and now < cached["expire_at"]:
        return cached["value"], "fresh-cache"

    try:
        value = await asyncio.wait_for(
            load_user_vector_from_source(user_id),
            timeout=0.05,
        )
        return value, "source"
    except asyncio.TimeoutError:
        if cached and now < cached["stale_until"]:
            return cached["value"], "stale-cache"
        return [0.0, 0.0, 0.0], "default-vector"

async def main():
    vector, source = await get_user_vector("u-1")
    print(source)
    print(vector)

asyncio.run(main())

预期输出

text
stale-cache
[0.2, 0.7, 0.1]

实际耗时会受机器调度影响,但结果来源应为 stale-cache,因为模拟下游需要约 200 ms,而回源超时只有 50 ms。这个例子说明降级必须由明确的时间预算驱动,不能依赖下游“通常很快”。

处理穿透、击穿与回源失败

缓存穿透常见于非法用户 ID、已下架物品或持续不存在的 key。对明确不存在的数据可以缓存一个短 TTL 的空值,避免每次请求都打到源服务;对用户可控的 key,还应先做格式与权限校验。

热点 key 失效时容易出现缓存击穿。可采用单飞请求(singleflight)或互斥刷新:同一 key 只允许一个请求回源,其余请求继续读旧值或短暂等待。这样既避免并发回源,也不会因为加锁把所有请求串行化。

回源失败时不要立刻删除旧缓存。更稳妥的做法是区分“逻辑过期”和“物理删除”:逻辑过期后触发刷新,但在一个短暂 stale 窗口内仍允许读取旧值。只有超过 stale 窗口,才退到默认值或热门结果。

用故障注入完成验收

上线前要主动制造失败,而不是只测健康路径。把用户画像服务延迟提高到 200 ms、让 Redis 返回超时、随机删除部分物品特征 key,再确认接口仍能在预算内返回。

验收时重点检查三件事:第一,单个下游超时不会把整个请求拖到总超时;第二,缓存失效不会造成瞬时回源洪峰;第三,降级结果虽然个性化程度下降,但仍然是合法、可展示、可排序的推荐结果。缓存和降级真正要守住的是服务可用性与尾延迟,而不是每一次请求的数据绝对新鲜度。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

用缓存与降级守住延迟预算

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通