大模型应用开发 / 系统课时

保护高风险操作

保护高风险操作

大模型能调用工具后,最危险的问题不是“会不会调用”,而是“错误调用能否被拦住”。本节用确认、审批、幂等三道控制,把支付、删除、发送和配置变更从直接执行改造成可审计、可恢复的安全流程。

学习目标

  • 区分普通工具调用与高风险操作,判断何时必须增加人工确认或审批
  • 设计“确认后再执行”的控制链,避免模型仅凭自然语言直接产生不可逆副作用
  • 使用幂等键阻止重复支付、重复发送和重复配置变更

先给高风险操作加门禁

高风险操作通常同时具备两个特征:会产生外部副作用,并且失败或误操作的恢复成本较高。支付、删除资源、发送邮件、修改生产配置都属于这一类。模型可以负责理解意图和准备参数,但不应直接拥有最终执行权。

更稳妥的做法是把工具拆成“准备”和“提交”两个阶段。准备阶段只生成待执行内容并返回摘要;提交阶段必须拿到已经确认的操作标识、审批结果和幂等键,缺一项就拒绝执行。

高风险操作的确认审批与幂等门禁

确认必须展示用户真正关心的副作用,而不是只问“是否继续”。支付要展示金额、币种和收款方;删除要展示资源名称和影响范围;发送要展示收件人和正文摘要;配置变更要展示目标环境和关键差异。确认内容变化后,应重新确认,不能复用旧授权。

在服务端执行最终校验

下面的 Python 示例演示一个最小支付门禁。模型只能提交候选参数,真正执行前由服务端检查确认状态、审批状态和幂等键。

python
from dataclasses import dataclass

@dataclass
class PaymentRequest:
    order_id: str
    amount: int
    confirmed: bool
    approved: bool
    idempotency_key: str

processed = {}

def execute_payment(req: PaymentRequest) -> str:
    if not req.confirmed:
        return "REJECTED: confirmation required"
    if not req.approved:
        return "REJECTED: approval required"
    if req.idempotency_key in processed:
        return processed[req.idempotency_key]

    result = f"PAID order={req.order_id} amount={req.amount}"
    processed[req.idempotency_key] = result
    return result

request = PaymentRequest(
    order_id="order-42",
    amount=19900,
    confirmed=True,
    approved=True,
    idempotency_key="pay-order-42-v1",
)

print(execute_payment(request))
print(execute_payment(request))

预期输出:

text
PAID order=order-42 amount=19900
PAID order=order-42 amount=19900

第二次调用没有再次执行支付,而是返回第一次的结果。真实系统中,幂等记录应持久化到数据库或支付编排层,并与业务操作放在同一可靠事务边界附近,不能只存在进程内存中。

让审批与确认各司其职

确认解决的是“发起人是否理解并接受这次操作”,审批解决的是“组织是否允许这次操作”。低金额退款可能只需要本人确认;生产环境删除、批量发送或高金额支付,通常还要满足角色、金额、环境或双人复核等审批规则。

审批规则应由后端根据结构化字段判断,而不是让模型自由生成“已审批”。模型可以解释为什么需要审批、收集缺失信息,但审批状态必须来自可信身份系统或工作流系统,并记录审批人、时间、对象和参数摘要。

把失败设计成可恢复状态

高风险工具不要只返回“成功/失败”,至少区分未确认、待审批、已拒绝、执行中、已成功、可重试失败和不可重试失败。这样应用才能决定下一步是继续等待、重新确认、触发补偿,还是直接停止。

最终原则很简单:模型负责理解和建议,服务端负责授权和执行;确认控制人的意图,审批控制组织权限,幂等控制重复副作用。三者同时存在时,高风险工具才真正具备可上线的安全边界。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

保护高风险操作

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通