游戏 AI / 系统课时

缓存高频问答和静态知识

缓存高频问答和静态知识

玩家反复询问商人寒暄、地点位置或世界设定时,每次都调用 LLM 会增加等待与费用。本课把问题先分成可复用和必须实时处理两类,再用带版本的缓存键和过期策略减少重复生成,避免把旧任务状态或其他玩家的信息当成新回答。

学习目标

  • 识别适合共享缓存的固定问答,以及必须绕过缓存的动态回复。
  • 设计包含角色、语言和知识版本的缓存键,并验证命中与失效。
  • 用命中率、陈旧回答和请求耗时检查缓存是否真正有效。

先判断回答能否脱离当前玩家复用

能否缓存取决于回答依赖哪些事实,而不是提问是否常见。把玩家原句归一为受控意图,例如“你好”“欢迎吗”都映射到 greet,但不能把任意相似句都当成同一问题。

  • 可共享:经审核的固定寒暄、稳定地点介绍、不会随任务变化的世界设定。
  • 有条件缓存:受 NPC 档案、语言或世界版本影响的台词;相关版本必须加入键。
  • 必须实时处理:任务完成状态、库存与价格、玩家关系、当前门禁和即时事件。

例如商人对所有玩家都说“欢迎来到旧港集市”可以复用;“你上次欠我的钱还没还”依赖玩家关系,即使文字经常重复,也不得命中公共缓存。没有通过白名单判定的意图应转交实时对话链路。

设计可追踪的缓存键与失效规则

建议键由 npcId、intentId、locale、profileRevision、knowledgeRevision、replySchemaVersion 组成。角色设定修改时递增档案版本,地点描述更新时递增知识版本,旧缓存即使未到期也不会被新请求命中。

缓存值可保存已校验的 line、生成时的来源版本和过期时间。演示使用 60 秒 TTL;生产中固定设定可采用更长时效,但仍要设置容量上限和版本失效机制。不要将 API 密钥、原始聊天记录或未经确认的任务结果写入共享值;涉及玩家身份的个性化回复优先不缓存。

验证命中、过期与实时旁路

一次请求先判定是否含实时状态,再查版本化缓存。命中且未过期直接返回;未命中则生成、校验并写入。模型超时或生成失败时不能把错误文案长期写成正常知识。

NPC固定问答的缓存判定、命中和失效流程

下面用本地固定回复模拟“受控内容生成”,不依赖 API。now 是用于测试的秒数;真实服务的进程内 TTL 计时应使用单调时钟,并在多实例部署时采用共享缓存或一致的版本管理。

python
CACHE = {}
CACHEABLE = {"greet", "location"}
REPLIES = {
    ("merchant-1", "greet", "zh-CN"): "欢迎来到旧港集市。",
    ("merchant-1", "location", "zh-CN"): "旧港集市位于城门以东。",
}

def get_reply(npc_id, intent, locale, profile_rev, knowledge_rev, now, live=False):
    source = (npc_id, intent, locale)
    # 实时状态和未登记的静态知识不能使用共享缓存。
    if live or intent not in CACHEABLE or source not in REPLIES:
        return "BYPASS", "交由实时对话服务处理"
    # 版本进键后,知识变更无需等待旧键自然过期。
    key = (*source, profile_rev, knowledge_rev, "schema-v1")
    entry = CACHE.get(key)
    if entry is not None and now < entry["expires_at"]:
        return "HIT", entry["line"]
    line = REPLIES[source]
    CACHE[key] = {"line": line, "expires_at": now + 60}
    return "MISS", line

tests = [
    ("首次", "k5", 100, False),
    ("复问", "k5", 120, False),
    ("过期", "k5", 161, False),
    ("知识改版", "k6", 170, False),
    ("动态任务", "k6", 171, True),
]
for label, revision, now, live in tests:
    status, line = get_reply(
        "merchant-1", "greet", "zh-CN", "p2", revision, now, live
    )
    print(f"{label}: {status} | {line}")

预期输出:

text
首次: MISS | 欢迎来到旧港集市。
复问: HIT | 欢迎来到旧港集市。
过期: MISS | 欢迎来到旧港集市。
知识改版: MISS | 欢迎来到旧港集市。
动态任务: BYPASS | 交由实时对话服务处理

代码中“知识改版”返回的示例台词不变,是因为模拟数据没有更新;在正式系统中,应使用新版本的权威知识重新生成或读取已审核文案。

上线前检查陈旧回答和缓存击穿

验收时分别让同一 NPC 在相同语言下连续回答、切换 knowledgeRevision、切换玩家任务阶段。前两类应观察到命中和版本失效,任务问题必须保持实时旁路。记录 cache_hit、cache_miss、cache_bypass、回答延迟和实际 LLM 调用次数;不能只看命中率,因为错误共享会让数字虚高。

热门问题过期时,多个并发请求可能同时触发模型调用。后端可对同一键使用单飞合并(同键并发只生成一次),并设置缓存容量与淘汰策略。若知识来源不可信或回复依赖即时状态,宁可付出一次生成成本,也不要返回看似流畅却已过期的结论。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

缓存高频问答和静态知识

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通