游戏 AI / 系统课时

NPC 为什么记错玩家做过的事

NPC 为什么记错玩家做过的事

NPC 记错玩家经历时,不要先怀疑模型“失忆”。更有效的方法是沿记忆写入、检索、排序、上下文组装和生成逐层回查,找到错误事实第一次出现的位置,再修复对应环节。

学习目标

  • 能区分错误写入、错误检索和错误生成三类来源
  • 能沿一条具体记忆的标识追踪它从产生到进入 Prompt 的全过程
  • 能用最小化日志和断言判断错误发生在哪一层

先确认“错”发生在哪里

例如玩家明明帮助过守城卫兵,NPC 却说“你从未帮过我们”。这时至少存在四种可能:事实根本没有写入;事实写入了但查询没有召回;召回后被错误排序挤掉;事实已经进入 Prompt,但模型仍生成了相反内容。

因此排查不能直接盯着最终对白。应该给每条记忆一个稳定的 memoryId,同时记录 sourceEventId、创建时间、有效状态和相关实体。这样可以从最终错误一路反查到最初产生事实的事件。

NPC 错误记忆的分层排查链路

检查记忆有没有被正确写入

第一步只回答一个问题:错误事实是否真实存在于记忆库。不要直接查询“玩家做过什么”这种自然语言问题,而是根据已知事件找到具体的 memoryId,检查其内容、实体关系、来源事件和状态。

如果写入内容已经错误,例如把“玩家帮助守城”保存成“玩家袭击城门”,后续检索即使完全正确,最终结果仍会错。此时根因在记忆写入或事实提取阶段,应继续检查触发事件、事实分类规则以及更新逻辑,而不是修改 Prompt。

对于权威游戏状态,尤其不要让模型直接决定不可逆事实。像任务是否完成、NPC 是否死亡、物品是否获得等内容,应优先从游戏服务端状态产生事实,再写入记忆系统。

检查有没有召回正确记忆

确认存储正确后,再验证检索。记录各阶段的候选 ID 和受控淘汰原因。权限范围、过期状态及去重属于过滤;取前 K 条属于排序截断;将结果与系统指令一起装入实际发送的上下文属于预算。若过滤合法,预期记忆就应退出模型输入;此时应修正测试断言或调查规则,而不是绕过权限。

用固定证据运行诊断

保存为 diagnose_memory.py 并运行 python diagnose_memory.py。各字段来自同一请求、同一授权范围、同一快照。expected_fact 是业务证据中确认的事实,示例用简短的事实码替代文本。reply_fact 来自测试用结构化输出,真实自由文本是否与事实冲突还需要判定。

python
from dataclasses import dataclass, replace


@dataclass(frozen=True)
class Evidence:
    expected_fact: str
    stored_fact: str | None
    recalled: frozenset[str]
    eligible: frozenset[str]
    ranked: frozenset[str]
    sent: frozenset[str]
    reply_fact: str | None


def diagnose(evidence, memory_id):
    if not evidence.sent <= evidence.ranked <= evidence.eligible <= evidence.recalled:
        return "TRACE_INCONSISTENT"
    if evidence.stored_fact is None:
        return "STORAGE_MISS"
    if evidence.stored_fact != evidence.expected_fact:
        return "STORAGE_CONFLICT"
    for ids, reason in (
        (evidence.recalled, "RETRIEVAL_MISS"),
        (evidence.eligible, "FILTERED"),
        (evidence.ranked, "RANK_CUTOFF"),
        (evidence.sent, "CONTEXT_BUDGET"),
    ):
        if memory_id not in ids:
            return reason
    if evidence.reply_fact is None:
        return "OUTPUT_UNCHECKED"
    return "CONSISTENT" if evidence.reply_fact == evidence.expected_fact else "OUTPUT_CONFLICT"


if __name__ == "__main__":
    ids = frozenset({"memory-417"})
    evidence = Evidence("helped_guard", "helped_guard", ids, ids, ids, frozenset(), "never_helped")
    print(diagnose(evidence, "memory-417"))
    print(diagnose(replace(evidence, sent=ids), "memory-417"))
text
CONTEXT_BUDGET
OUTPUT_CONFLICT

第一轮中,正确经历进入排序保留范围,却没有发送给模型;第二轮中,它确实进入请求而回复仍冲突。示例约定各集合只追踪来自检索的记忆 ID;系统直接添加的权威事实单列。

检查生成是否违背了已有事实

检查实际发送的输入版本,区分旧关系状态、角色混淆、与权威任务事实冲突。例行日志可只记请求 ID、角色范围的诊断引用、候选与发送 ID、版本和原因码。完整输入或输出只在必要、授权、受控留存的复现样本中使用。敏感文本、身份凭据与其他玩家数据不要进入例行日志。OWASP 日志指南

修复后怎样证明没有再污染

修复不能只验证“这一次回答正确”。应该重新跑同一事件链,并检查旧记忆、检索结果和生成结果是否一致。特别要加入容易产生污染的场景,例如角色名称相似、玩家经历相反、同一事件被重复写入,以及关系状态已经发生变化的情况。

用同一证据链定位事实首次偏离的位置,再跑身份相似、重复事件、已过期、预算截断等对照。下一课将单独验证最常见的角色归属与缓存隔离问题。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

NPC 为什么记错玩家做过的事

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通