大模型应用开发 / 系统课时
保护高风险操作
保护高风险操作
大模型能调用工具后,最危险的问题不是“会不会调用”,而是“错误调用能否被拦住”。本节用确认、审批、幂等三道控制,把支付、删除、发送和配置变更从直接执行改造成可审计、可恢复的安全流程。
学习目标
- 区分普通工具调用与高风险操作,判断何时必须增加人工确认或审批
- 设计“确认后再执行”的控制链,避免模型仅凭自然语言直接产生不可逆副作用
- 使用幂等键阻止重复支付、重复发送和重复配置变更
先给高风险操作加门禁
高风险操作通常同时具备两个特征:会产生外部副作用,并且失败或误操作的恢复成本较高。支付、删除资源、发送邮件、修改生产配置都属于这一类。模型可以负责理解意图和准备参数,但不应直接拥有最终执行权。
更稳妥的做法是把工具拆成“准备”和“提交”两个阶段。准备阶段只生成待执行内容并返回摘要;提交阶段必须拿到已经确认的操作标识、审批结果和幂等键,缺一项就拒绝执行。

确认必须展示用户真正关心的副作用,而不是只问“是否继续”。支付要展示金额、币种和收款方;删除要展示资源名称和影响范围;发送要展示收件人和正文摘要;配置变更要展示目标环境和关键差异。确认内容变化后,应重新确认,不能复用旧授权。
在服务端执行最终校验
下面的 Python 示例演示一个最小支付门禁。模型只能提交候选参数,真正执行前由服务端检查确认状态、审批状态和幂等键。
from dataclasses import dataclass
@dataclass
class PaymentRequest:
order_id: str
amount: int
confirmed: bool
approved: bool
idempotency_key: str
processed = {}
def execute_payment(req: PaymentRequest) -> str:
if not req.confirmed:
return "REJECTED: confirmation required"
if not req.approved:
return "REJECTED: approval required"
if req.idempotency_key in processed:
return processed[req.idempotency_key]
result = f"PAID order={req.order_id} amount={req.amount}"
processed[req.idempotency_key] = result
return result
request = PaymentRequest(
order_id="order-42",
amount=19900,
confirmed=True,
approved=True,
idempotency_key="pay-order-42-v1",
)
print(execute_payment(request))
print(execute_payment(request))预期输出:
PAID order=order-42 amount=19900
PAID order=order-42 amount=19900第二次调用没有再次执行支付,而是返回第一次的结果。真实系统中,幂等记录应持久化到数据库或支付编排层,并与业务操作放在同一可靠事务边界附近,不能只存在进程内存中。
让审批与确认各司其职
确认解决的是“发起人是否理解并接受这次操作”,审批解决的是“组织是否允许这次操作”。低金额退款可能只需要本人确认;生产环境删除、批量发送或高金额支付,通常还要满足角色、金额、环境或双人复核等审批规则。
审批规则应由后端根据结构化字段判断,而不是让模型自由生成“已审批”。模型可以解释为什么需要审批、收集缺失信息,但审批状态必须来自可信身份系统或工作流系统,并记录审批人、时间、对象和参数摘要。
把失败设计成可恢复状态
高风险工具不要只返回“成功/失败”,至少区分未确认、待审批、已拒绝、执行中、已成功、可重试失败和不可重试失败。这样应用才能决定下一步是继续等待、重新确认、触发补偿,还是直接停止。
最终原则很简单:模型负责理解和建议,服务端负责授权和执行;确认控制人的意图,审批控制组织权限,幂等控制重复副作用。三者同时存在时,高风险工具才真正具备可上线的安全边界。