AI Agent / 系统课时

设计检查点与人工审批

设计检查点与人工审批

智能代理可以快速执行安装依赖、修改数据、删除文件和发布等高影响操作,但自动化速度越快,错误传播范围也越大。本节将学习如何设计检查点,让代理在关键风险节点暂停,等待人工确认后再继续执行。

学习目标

  • 理解为什么高风险操作需要人工审批节点。
  • 掌握检查点设计的位置与确认内容。
  • 能够为代理工作流增加安全控制。

为什么需要人工检查点

智能代理擅长连续执行任务,但它并不知道当前操作对业务的重要程度。例如安装未知依赖可能引入漏洞,批量修改数据可能造成不可恢复损失,直接发布可能影响线上用户。因此需要在人类判断价值最高的位置加入确认环节。

检查点不是简单的“每一步都询问用户”,而是在风险、成本和不可逆程度较高的位置暂停。合理设计可以保持自动化效率,同时避免代理失控执行。

检查点的设计原则

设计检查点时,通常关注三个因素:影响范围、恢复难度和外部影响。

操作类型 风险 推荐检查点
安装依赖 可能引入漏洞或版本冲突 安装前确认包名和版本
修改数据 可能破坏业务数据 执行前确认变更范围
删除文件 通常不可逆 删除前展示目标列表
发布上线 影响真实用户 发布前确认版本和环境

一个好的检查点需要让人快速理解“将发生什么”。代理应该提供操作摘要,而不是只显示一句“是否继续”。

在代理流程中实现审批

检查点通常位于工具调用之前,由代理生成计划、展示影响范围,再等待人工输入。

python
from dataclasses import dataclass

@dataclass
class ApprovalRequest:
    action: str
    impact: str
    target: str

def request_approval(req: ApprovalRequest) -> bool:
    print(f"操作: {req.action}")
    print(f"影响: {req.impact}")
    print(f"目标: {req.target}")
    answer = input("确认执行? (yes/no): ")
    return answer.lower() == "yes"

request = ApprovalRequest(
    action="删除临时文件",
    impact="删除 20 个构建缓存文件",
    target="<PATH>"
)

if request_approval(request):
    print("继续执行操作")
else:
    print("已取消操作")

预期输出

text
操作: 删除临时文件
影响: 删除 20 个构建缓存文件
目标: <PATH>
确认执行? (yes/no): yes
继续执行操作

实际代理系统中,确认结果通常会进入状态管理模块,由工作流决定继续、回滚或重新规划。

常见审批误区

第一个误区是检查点过多。所有步骤都等待确认会降低代理价值,用户也容易形成机械点击习惯。第二个误区是信息不足,只显示“执行删除操作”,却没有说明删除对象、数量和恢复方式。

更有效的方法是将审批集中在高风险动作附近,并要求代理输出结构化摘要,包括操作目的、影响范围、预计结果和失败恢复方案。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

设计检查点与人工审批

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通