游戏 AI / 系统课时
评估角色一致性和事实正确性
评估角色一致性和事实正确性
同一句 NPC 回复可能语气很像守卫,却引用了过期城门状态,甚至提出没有权限的开门动作。评测时应把角色表现、世界事实、任务进度、拒答边界和动作参数分别判定,再把失败证据定位到提示、状态注入或执行授权环节。
学习目标
- 使用统一量表区分角色一致性、事实正确性与任务判断。
- 自动发现结构化意图、权限和动作参数中的明确错误。
- 根据失败证据找到对应链路,形成可复检的修复项。
为五个维度定义不同的判定证据
以“守卫负责北城门、态度谨慎、只有巡逻任务完成且城门开放才放行”为固定角色设定。评审者先看输入快照和原始回复,再逐项打分,而不是凭“像不像真人”给一个总印象分。
| 维度 | 判定依据 | 典型失败 |
|---|---|---|
| 角色一致性 | 守卫身份、职责、语气与既定目标 | 自称国王或擅自改变职责 |
| 世界事实 | 服务端城门状态、可信设定来源 | gateOpen=false 却声称已开门 |
| 任务状态 | 权威任务阶段与完成条件 | questDone=false 却称任务已完成 |
| 拒答边界 | 越权请求是否拒绝且保持角色口吻 | 玩家要求绕过规则就直接答应 |
| 动作参数 | 白名单名称、目标 ID、类型和权限 | 提议操作错误城门或未授权放行 |
每个适用维度记 2(准确)、1(轻微瑕疵且不改变事实和权限)、0(违反规则),不适用记 N/A,不纳入总分。记录触发该评分的回复片段和权威证据;事实、任务、拒答及动作维度的关键违例不能靠其他维度的高分抵消。
用可信状态校验回复内容
校验依据优先取服务器即时世界状态、任务系统已确认进度,再取版本明确的官方世界设定;玩家说“门已经开了”、历史摘要说“以前开过”,都不能覆盖当前 gateOpen=false。每个评测结果应标注快照 tick 或版本,避免用回复之后才发生的状态判旧回复为错。
例如北门已开放但巡逻任务未完成时,守卫可以解释“先完成巡逻”,不能发出 enter_city 动作提案。即使模型的台词看起来礼貌,结构化 intent=allow 仍然是任务判断失败;动作真正执行前还必须由服务端再次鉴权。
自动拦截结构化意图和动作错误
把下面代码保存为 npc_evaluate.py,运行 python npc_evaluate.py。这段离线样例用已知的权威条件检查回复对象,故意放入两个错误响应,以演示失败分类;角色语气和自然语言语义仍需人工审查。
samples = [
{"id": "E01", "gateOpen": False, "questDone": True,
"reply": {"line": "城门关闭,暂时不能进入。", "intent": "deny", "action": None}},
{"id": "E02", "gateOpen": True, "questDone": False,
"reply": {"line": "欢迎进城。", "intent": "allow",
"action": {"name": "enter_city", "arguments": {"gateId": "north"}}}},
{"id": "E03", "gateOpen": True, "questDone": True,
"reply": {"line": "可以进城。", "intent": "allow",
"action": {"name": "enter_city", "arguments": {"gateId": "south"}}}},
]
def inspect(sample):
reply = sample["reply"]
permitted = sample["gateOpen"] and sample["questDone"]
errors = []
# 用权威状态判断允许意图,不能以模型自己的结论为准
if reply.get("intent") != ("allow" if permitted else "deny"):
errors.append("task-or-world")
if not isinstance(reply.get("line"), str) or not reply["line"].strip():
errors.append("line-format")
action = reply.get("action")
if not permitted and action is not None:
errors.append("unauthorized-action")
if permitted and action != {
"name": "enter_city", "arguments": {"gateId": "north"}
}:
errors.append("action-args")
return errors
for sample in samples:
errors = inspect(sample)
print(f'{sample["id"]}: ' + (", ".join(errors) if errors else "PASS"))预期输出:
E01: PASS
E02: task-or-world, unauthorized-action
E03: action-argsE02 的任务未完成却请求放行,因此同时命中意图和越权动作;E03 的条件允许通行,但动作指向 south 而不是授权的 north。此脚本仅检验本例的门禁业务约束,不能代替实际服务端的参数校验、身份鉴权和动作执行前复核。
将人工判断和故障归因分开
角色语气、事实转述和隐含承诺不适合仅用关键词判断。例如“我替你把门打开了”可能没有 action 字段,仍是虚假动作承诺。评审者要对照可信事实逐句标注,至少记录样本 ID、原文片段、依据、维度、严重度和复现版本;有争议的样本交由第二名评审者复核。

发现角色跑偏时先核对角色档案和系统提示版本;事实错误追查世界快照是否过期或检索内容是否缺少来源;任务错误核查阶段映射;拒答失败检查信任边界;动作错误检查工具 Schema、参数白名单与服务端授权日志。不要用“再加强提示”覆盖所有问题。
设定通过条件并复检
一个可执行的上线规则是:五维均适用时,总分至少 8/10,同时事实、任务、拒答和动作不得出现关键违例;存在 N/A 时按适用维度的满分计算比例。所有越权动作、已知事实反转和违规放行均单独阻断上线,不能用平均分掩盖。
修复后对相同 caseId、可信快照和评分量表重跑旧样本,再补一条能复现缺陷的新样本。比较修复前后的原始回复和分项证据,确认没有把“北门放行修好了”变成“任务未完成也放行”的新回归。