AI Agent / 系统课时
识别能力边界与失败模式
识别能力边界与失败模式
AI Agent 的风险不只来自“答错”,还可能表现为反复调用工具、执行错误操作或产出无法核验的结论。本节建立一套最小风险框架,帮助你在设计 Agent 时提前识别边界,并为失败设置可观测、可中止、可验证的防线。
学习目标
- 区分幻觉、失控循环、工具误用和不可验证结果四类典型失败。
- 能从输入、推理、行动、反馈四个环节定位风险来源。
- 为高风险任务设计停止条件、权限边界和结果验证。
先把“能回答”与“能可靠完成”分开
大模型擅长生成看起来合理的语言,但 Agent 还会把语言转化为行动。只要任务包含外部工具、循环决策或环境状态变化,正确性就不再等同于“最后一句话像是对的”,而要同时检查事实依据、行动是否被授权、执行是否结束,以及结果能否被外部证据确认。

幻觉:内容流畅但依据不存在
幻觉通常出现在信息不足、检索失败或模型把不确定内容补全为确定答案时。Agent 场景里它更危险,因为错误信息可能继续驱动后续工具调用。例如模型臆造一个订单号,再让退款工具按这个编号执行,就会把“文本错误”升级成“操作错误”。
防线不是简单要求模型“不要幻觉”,而是把关键事实绑定到可追溯证据。涉及账号、金额、状态、权限或外部对象时,先通过受信数据源读取,再把读取结果作为后续决策输入;若证据缺失,就显式返回无法确认,而不是继续猜测。
失控循环:没有收敛条件的自我驱动
Agent 常通过“计划—执行—观察—再计划”迭代完成任务。若没有最大步数、超时、预算或状态去重,它可能在同一工具和同一结论之间反复循环。循环的危险不只在成本,还可能持续触发副作用。
可靠实现应同时设置硬停止和软停止。硬停止包括最大轮数、最大工具调用次数和总超时;软停止包括检测连续相同动作、连续无新增证据、目标状态已经达成。达到停止条件后停止调度新的动作,并记录仍在途的请求。超时或取消可能发生在外部系统已经收到请求之后。此时先将结果记为待核对,避免直接重发可能重复生效的操作。
工具误用:调用正确工具也可能做错事
工具误用常见于三个层面:选错工具、参数填错、权限过大。即使工具本身没有漏洞,只要 Agent 能自由组合高权限操作,就可能因为理解偏差造成不可逆结果。删除、转账、发信、发布和修改生产配置都应视为高风险动作。
工具服务应按已验证身份检查对象归属、动作和参数范围,凭据采用最小权限。需要审批时,将批准内容与具体动作、资源、参数及有效期绑定,执行前再次校验。可重试写入需要使用外部服务认可的稳定幂等键,或借助独立业务状态判断能否安全重试。未经授权的工具结果、网页或文档不能扩大权限。
不可验证结果:完成了,但无法证明完成
验收要匹配外部服务的响应契约。例如“已受理”表明请求进入处理流程,最终状态仍需查询。资源 ID 只能定位对象。核对时同时匹配目标资源、同一次操作及所需的业务状态。保存可追踪的请求标识、状态和必要证据,并对敏感负载脱敏。
下面模拟一个只处理状态的函数。虚构的工单系统以 operation_id 查询操作详情,状态可为 queued、rejected 或 applied。expected 是编排层已授权并持久化的操作和资源 ID。observed 由通过认证的服务查询得到。示例在内存中构造观测结果,无需发出请求。
def verify_change(expected, observed):
if not isinstance(observed, dict):
return "unknown"
operation_id, resource_id = expected
if (
observed.get("operation_id") != operation_id
or observed.get("resource_id") != resource_id
):
return "unknown"
status = observed.get("status")
if status == "queued":
return "pending"
if status == "rejected":
return "rejected"
if status == "applied" and observed.get("ticket_status") == "closed":
return "verified"
return "unknown"
if __name__ == "__main__":
expected = ("op-42", "ticket-6")
queued = {"operation_id": "op-42", "resource_id": "ticket-6", "status": "queued"}
applied = {**queued, "status": "applied", "ticket_status": "closed"}
print(verify_change(expected, queued))
print(verify_change(expected, applied))
print(verify_change(expected, {**applied, "operation_id": "op-41"}))
print(verify_change(expected, None))预期输出
pending
verified
unknown
unknownunknown 表示证据不足。只有拿到服务契约明确承诺的已拒绝状态,才能把该次操作视为被拒绝。服务如果仅提供资源当前状态,状态可能由另一次操作导致,应将“目标状态已满足”和“本次操作已生效”作为不同结论记录。
用边界而不是信任兜底
可靠 Agent 的核心不是假设模型永远正确,而是允许模型犯错,同时限制错误扩散范围。事实要有证据,循环要能停止,工具要受权限和参数约束,结果要能独立验证。验收时加入工具超时、返回上一次操作 ID、外部状态不匹配、权限不足等样本,分别核对最终状态与实际发出的调用。