游戏 AI / 系统课时

重复提问为什么还要调用模型

重复提问为什么还要调用模型

这一课解决 NPC 对同一意图反复调用模型的问题:先规范化请求,确认意图、实体与权限后再复用近期结果,从而降低延迟、费用与并发压力,同时避免把不该复用的结果错误共享。

学习目标

  • 能区分精确缓存、相似请求缓存与不能缓存的动态请求
  • 能设计包含缓存键、相似度阈值、TTL 和上下文版本的复用规则
  • 能用一个最小示例验证命中与未命中路径

先定义什么可以复用

NPC 请求不能只看玩家原句是否完全相同。比如“北门通常几点开”和“北门的开放时间是多少”可以归一为相同意图和城门。对“我现在能否进北门”则应重新核验当前凭证、时间和场景状态,即使这三句向量很接近。

反过来,包含实时战斗状态、库存、任务进度或刚刚发生的世界事件时,不应仅凭文本相似就直接复用。缓存记录至少要绑定 npcId、contextVersion、sceneId 等会改变答案的条件。

语义缓存的匹配与复用链路

缓存键和上下文边界

一个可维护的语义缓存通常先建立硬约束缓存键,再在同一约束范围内做相似度匹配。不要让“相似”承担所有正确性判断,否则一个旧剧情阶段的答案可能误用于新阶段。

先按权限作用域、版本和意图分区,再查规范化实体。若还需要向量搜索,可在同一作用域内找候选,但命中前要确认实体、肯否、时间条件和输出类型一致。阈值须在已标注的误命中样本上校准,无法确认就按当前状态重算。

TTL 也很重要。对稳定知识或重复问路,可以设置较长 TTL;对会话中的即时对白,TTL 应明显更短。发生剧情阶段切换时,直接提升 contextVersion,旧缓存自然不会被新请求命中。

用最小示例验证命中

下面用标准库验证经过业务确认的结构化精确缓存。示例从上游接收已经核验的意图和实体,用单调时钟计算进程内 TTL,并以容量上限限制占用。

python
from collections import deque
from time import monotonic

class ReplyCache:
    def __init__(self, clock=monotonic, max_entries=64):
        self.clock = clock
        self.entries = deque(maxlen=max_entries)

    def put(self, scope, intent, gate, answer, ttl=30):
        # 仅接收业务规则确认可复用的静态开放时间答复。
        if intent == "public_opening_hours" and gate in {"north", "south"} and ttl > 0:
            self.entries.append(((scope, intent, gate), answer, self.clock() + ttl))

    def get(self, scope, intent, gate):
        key = (scope, intent, gate)
        now = self.clock()
        return next((answer for candidate, answer, expiry in reversed(self.entries)
                     if candidate == key and now < expiry), None)

clock = [100.0]
cache = ReplyCache(clock=lambda: clock[0])
# 存档、分支、玩家、NPC、场景、上下文版本、披露策略版本。
scope = ("save-1", "main", "player-1", "guard-a", "plaza", 12, 3)
cache.put(scope, "public_opening_hours", "north", "守卫:北门每天早上六点开放。")
print("same intent:", cache.get(scope, "public_opening_hours", "north"))
print("different gate:", cache.get(scope, "public_opening_hours", "south"))
print("personal permission:", cache.get(scope, "admit_me", "north"))
clock[0] += 30
print("at expiry:", cache.get(scope, "public_opening_hours", "north"))

预期输出

text
same intent: 守卫:北门每天早上六点开放。
different gate: None
personal permission: None
at expiry: None

相同意图与城门在作用域一致且未到期时才会命中。修改剧情版本或权限版本后应用新作用域,旧记录即使尚未到期也不能复用。

哪些请求不要缓存

有实时事实参与的请求通常不适合长时间复用,例如“玩家还有多少生命值”“刚才谁被击败了”“当前门是否已经打开”。这类问题的答案随着权威游戏状态变化,应优先重新构造上下文并生成。

还要防止把玩家私有状态混进公共缓存。涉及 playerId、个人任务进度、关系值或库存时,缓存范围必须包含对应身份或直接关闭跨玩家复用。宁可少命中,也不要返回错误的角色记忆。

最终可以把策略压缩成一句运行规则:**相似度只负责找候选,业务上下文负责决定候选是否真的可复用。**这样缓存才是性能优化,而不是新的剧情一致性风险。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

重复提问为什么还要调用模型

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通