AI Agent / 系统课时
设计检查点与人工审批
设计检查点与人工审批
智能代理可以快速执行安装依赖、修改数据、删除文件和发布等高影响操作,但自动化速度越快,错误传播范围也越大。本节将学习如何设计检查点,让代理在关键风险节点暂停,等待人工确认后再继续执行。
学习目标
- 理解为什么高风险操作需要人工审批节点。
- 掌握检查点设计的位置与确认内容。
- 能够为代理工作流增加安全控制。
为什么需要人工检查点
智能代理擅长连续执行任务,但它并不知道当前操作对业务的重要程度。例如安装未知依赖可能引入漏洞,批量修改数据可能造成不可恢复损失,直接发布可能影响线上用户。因此需要在人类判断价值最高的位置加入确认环节。
检查点不是简单的“每一步都询问用户”,而是在风险、成本和不可逆程度较高的位置暂停。合理设计可以保持自动化效率,同时避免代理失控执行。
检查点的设计原则
设计检查点时,通常关注三个因素:影响范围、恢复难度和外部影响。
| 操作类型 | 风险 | 推荐检查点 |
|---|---|---|
| 安装依赖 | 可能引入漏洞或版本冲突 | 安装前确认包名和版本 |
| 修改数据 | 可能破坏业务数据 | 执行前确认变更范围 |
| 删除文件 | 通常不可逆 | 删除前展示目标列表 |
| 发布上线 | 影响真实用户 | 发布前确认版本和环境 |
一个好的检查点需要让人快速理解“将发生什么”。代理应该提供操作摘要,而不是只显示一句“是否继续”。
在代理流程中实现审批
检查点通常位于工具调用之前,由代理生成计划、展示影响范围,再等待人工输入。
python
from dataclasses import dataclass
@dataclass
class ApprovalRequest:
action: str
impact: str
target: str
def request_approval(req: ApprovalRequest) -> bool:
print(f"操作: {req.action}")
print(f"影响: {req.impact}")
print(f"目标: {req.target}")
answer = input("确认执行? (yes/no): ")
return answer.lower() == "yes"
request = ApprovalRequest(
action="删除临时文件",
impact="删除 20 个构建缓存文件",
target="<PATH>"
)
if request_approval(request):
print("继续执行操作")
else:
print("已取消操作")预期输出
text
操作: 删除临时文件
影响: 删除 20 个构建缓存文件
目标: <PATH>
确认执行? (yes/no): yes
继续执行操作实际代理系统中,确认结果通常会进入状态管理模块,由工作流决定继续、回滚或重新规划。
常见审批误区
第一个误区是检查点过多。所有步骤都等待确认会降低代理价值,用户也容易形成机械点击习惯。第二个误区是信息不足,只显示“执行删除操作”,却没有说明删除对象、数量和恢复方式。
更有效的方法是将审批集中在高风险动作附近,并要求代理输出结构化摘要,包括操作目的、影响范围、预计结果和失败恢复方案。
按自己的节奏,确认真正理解。