游戏 AI / 系统课时

评估角色一致性和事实正确性

评估角色一致性和事实正确性

同一句 NPC 回复可能语气很像守卫,却引用了过期城门状态,甚至提出没有权限的开门动作。评测时应把角色表现、世界事实、任务进度、拒答边界和动作参数分别判定,再把失败证据定位到提示、状态注入或执行授权环节。

学习目标

  • 使用统一量表区分角色一致性、事实正确性与任务判断。
  • 自动发现结构化意图、权限和动作参数中的明确错误。
  • 根据失败证据找到对应链路,形成可复检的修复项。

为五个维度定义不同的判定证据

以“守卫负责北城门、态度谨慎、只有巡逻任务完成且城门开放才放行”为固定角色设定。评审者先看输入快照和原始回复,再逐项打分,而不是凭“像不像真人”给一个总印象分。

维度 判定依据 典型失败
角色一致性 守卫身份、职责、语气与既定目标 自称国王或擅自改变职责
世界事实 服务端城门状态、可信设定来源 gateOpen=false 却声称已开门
任务状态 权威任务阶段与完成条件 questDone=false 却称任务已完成
拒答边界 越权请求是否拒绝且保持角色口吻 玩家要求绕过规则就直接答应
动作参数 白名单名称、目标 ID、类型和权限 提议操作错误城门或未授权放行

每个适用维度记 2(准确)、1(轻微瑕疵且不改变事实和权限)、0(违反规则),不适用记 N/A,不纳入总分。记录触发该评分的回复片段和权威证据;事实、任务、拒答及动作维度的关键违例不能靠其他维度的高分抵消。

用可信状态校验回复内容

校验依据优先取服务器即时世界状态、任务系统已确认进度,再取版本明确的官方世界设定;玩家说“门已经开了”、历史摘要说“以前开过”,都不能覆盖当前 gateOpen=false。每个评测结果应标注快照 tick 或版本,避免用回复之后才发生的状态判旧回复为错。

例如北门已开放但巡逻任务未完成时,守卫可以解释“先完成巡逻”,不能发出 enter_city 动作提案。即使模型的台词看起来礼貌,结构化 intent=allow 仍然是任务判断失败;动作真正执行前还必须由服务端再次鉴权。

自动拦截结构化意图和动作错误

把下面代码保存为 npc_evaluate.py,运行 python npc_evaluate.py。这段离线样例用已知的权威条件检查回复对象,故意放入两个错误响应,以演示失败分类;角色语气和自然语言语义仍需人工审查。

python
samples = [
    {"id": "E01", "gateOpen": False, "questDone": True,
     "reply": {"line": "城门关闭,暂时不能进入。", "intent": "deny", "action": None}},
    {"id": "E02", "gateOpen": True, "questDone": False,
     "reply": {"line": "欢迎进城。", "intent": "allow",
               "action": {"name": "enter_city", "arguments": {"gateId": "north"}}}},
    {"id": "E03", "gateOpen": True, "questDone": True,
     "reply": {"line": "可以进城。", "intent": "allow",
               "action": {"name": "enter_city", "arguments": {"gateId": "south"}}}},
]

def inspect(sample):
    reply = sample["reply"]
    permitted = sample["gateOpen"] and sample["questDone"]
    errors = []
    # 用权威状态判断允许意图,不能以模型自己的结论为准
    if reply.get("intent") != ("allow" if permitted else "deny"):
        errors.append("task-or-world")
    if not isinstance(reply.get("line"), str) or not reply["line"].strip():
        errors.append("line-format")
    action = reply.get("action")
    if not permitted and action is not None:
        errors.append("unauthorized-action")
    if permitted and action != {
        "name": "enter_city", "arguments": {"gateId": "north"}
    }:
        errors.append("action-args")
    return errors

for sample in samples:
    errors = inspect(sample)
    print(f'{sample["id"]}: ' + (", ".join(errors) if errors else "PASS"))

预期输出:

text
E01: PASS
E02: task-or-world, unauthorized-action
E03: action-args

E02 的任务未完成却请求放行,因此同时命中意图和越权动作;E03 的条件允许通行,但动作指向 south 而不是授权的 north。此脚本仅检验本例的门禁业务约束,不能代替实际服务端的参数校验、身份鉴权和动作执行前复核。

将人工判断和故障归因分开

角色语气、事实转述和隐含承诺不适合仅用关键词判断。例如“我替你把门打开了”可能没有 action 字段,仍是虚假动作承诺。评审者要对照可信事实逐句标注,至少记录样本 ID、原文片段、依据、维度、严重度和复现版本;有争议的样本交由第二名评审者复核。

NPC五维评测与故障链路归因关系图

发现角色跑偏时先核对角色档案和系统提示版本;事实错误追查世界快照是否过期或检索内容是否缺少来源;任务错误核查阶段映射;拒答失败检查信任边界;动作错误检查工具 Schema、参数白名单与服务端授权日志。不要用“再加强提示”覆盖所有问题。

设定通过条件并复检

一个可执行的上线规则是:五维均适用时,总分至少 8/10,同时事实、任务、拒答和动作不得出现关键违例;存在 N/A 时按适用维度的满分计算比例。所有越权动作、已知事实反转和违规放行均单独阻断上线,不能用平均分掩盖。

修复后对相同 caseId、可信快照和评分量表重跑旧样本,再补一条能复现缺陷的新样本。比较修复前后的原始回复和分项证据,确认没有把“北门放行修好了”变成“任务未完成也放行”的新回归。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

评估角色一致性和事实正确性

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通