游戏 AI / 系统课时

用缓存减少重复生成

用缓存减少重复生成

游戏中的生成请求并不都需要重新调用模型。同一玩家、同一场景和同一上下文可能在短时间内重复出现。本篇通过缓存键、失效策略和上下文版本,让“可以复用”的结果直接命中缓存,降低延迟与调用成本。

学习目标

  • 判断哪些生成请求适合缓存,以及哪些请求不应复用
  • 设计包含内容版本的稳定缓存键
  • 用 Python 实现最小缓存流程并验证命中与失效行为

先判断什么值得缓存

最适合缓存的是输入稳定、输出允许复用的内容,例如固定 NPC 对话、任务描述、物品说明或某个明确版本下的生成结果。相反,强依赖实时战斗状态、随机性或个体化隐私数据的结果通常不应直接共用。

判断是否缓存,可以先问三个问题:输入是否可稳定标识,结果是否允许在一段时间内复用,内容规则变化后是否能及时失效。三个问题都能回答清楚,再设计缓存键。

缓存键要包含什么

缓存键不能只用玩家输入字符串。至少应把内容类型、关键上下文以及上下文版本纳入键,否则“同一句话在不同角色或不同规则下生成不同结果”的情况会互相污染。

一个实用形式是把稳定字段规范化后连接,再计算哈希。例如:

content_type + context_version + normalized_context + user_input

其中 context_version 很重要。角色设定、世界观规则或提示词发生变化时,只要版本号改变,旧结果自然不会被误用,不必依赖手工删除全部缓存。

生成请求的缓存命中与失效路径

一个可验证的缓存实现

下面使用 Python 标准库实现进程内缓存。示例重点展示键设计和失效逻辑,真实项目可以把存储替换为 Redis 或其他缓存系统,但业务层仍可保持相同接口。

python
import hashlib
import time


class ContentCache:
    def __init__(self, ttl_seconds: int = 60):
        self.ttl_seconds = ttl_seconds
        self._items: dict[str, tuple[float, str]] = {}

    def build_key(
        self,
        content_type: str,
        context_version: str,
        context: str,
        user_input: str,
    ) -> str:
        raw = "|".join(
            [content_type, context_version, context.strip(), user_input.strip()]
        )
        return hashlib.sha256(raw.encode("utf-8")).hexdigest()

    def get(self, key: str) -> str | None:
        item = self._items.get(key)
        if item is None:
            return None
        expires_at, value = item
        if time.time() >= expires_at:
            self._items.pop(key, None)
            return None
        return value

    def set(self, key: str, value: str) -> None:
        self._items[key] = (time.time() + self.ttl_seconds, value)


def generate_content(cache: ContentCache, user_input: str) -> str:
    key = cache.build_key(
        content_type="npc_reply",
        context_version="v3",
        context="tavern-owner:north-gate",
        user_input=user_input,
    )
    cached = cache.get(key)
    if cached is not None:
        return f"CACHE_HIT: {cached}"

    # 模拟一次实际生成,并写入缓存。
    result = f"生成内容:{user_input}"
    cache.set(key, result)
    return f"MODEL_CALL: {result}"


def main() -> None:
    cache = ContentCache(ttl_seconds=60)
    print(generate_content(cache, "北门怎么走?"))
    print(generate_content(cache, "北门怎么走?"))


if __name__ == "__main__":
    main()

预期输出

text
MODEL_CALL: 生成内容:北门怎么走?
CACHE_HIT: 生成内容:北门怎么走?

第一次请求没有缓存,因此执行一次生成并写入结果;第二次使用完全相同的内容类型、上下文版本、上下文和输入,可以直接命中缓存。实际时间值和哈希键会因输入不同而变化。

失效不是只有过期时间

TTL 适合控制“结果最多保留多久”,但它不能解决规则刚修改就必须换结果的问题。生成系统至少应同时考虑时间失效和版本失效。

时间失效可以让角色台词、短期活动文本在几十秒或几分钟后重新生成。版本失效则针对提示词、角色设定、世界规则等明确变化,只要 context_version 从 v3 变成 v4,新请求就会得到全新的缓存键。

对于需要手动撤销的内容,还可以增加显式删除能力,例如运营修改任务文本后立即删除指定内容类型的缓存。不要把“清空所有缓存”当作默认方案,否则缓存带来的收益会同时消失。

哪些请求不要直接缓存

实时战斗决策、强随机事件和依赖当前服务器状态的内容不适合无条件复用。即使文本相同,只要输入中存在未进入缓存键的状态字段,命中旧结果就可能产生错误行为。

另一个常见问题是缓存键过粗。例如只用 user_input,会让不同角色对同一句话共享结果;只用玩家 ID,则会把本来可以跨玩家复用的公共内容全部隔离开。缓存键应该同时满足区分必须区分的输入和忽略不影响结果的输入。

因此,设计缓存时先定义“结果由哪些字段决定”,再决定键结构和失效策略。缓存只是生成服务前面的一层加速机制,不能替代正确的上下文建模;只有缓存与上下文版本一起设计,才能在降低调用次数的同时保持游戏内容的一致性。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

用缓存减少重复生成

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通