AI Agent / 系统课时

在工具调用前加入人工审核

在工具调用前加入人工审核

高风险工具不应在模型生成调用参数后立刻执行。本节把“准备调用”和“真正执行”拆开:先把工具名与参数交给人工审核,图的执行暂停在审批点,只有明确通过后才继续调用工具。

学习目标

  • 能把人工审核点放在工具执行之前,而不是执行之后补救
  • 能用 interrupt() 暂停图,并用同一 thread_id 恢复执行
  • 能向审核界面提供工具名、参数与审批结果

审核点应该放在哪里

安全的顺序是“模型提出调用 → 暂停并展示 → 人工决定 → 执行或拒绝”。审核对象应当是即将执行的确定参数,而不是模型的自然语言解释;否则用户看到的内容可能与真正传给工具的参数不同。

interrupt() 会把当前线程状态交给 checkpointer 保存,并把一个可序列化的审核载荷返回给调用方。恢复时必须继续使用同一个 thread_id,Command(resume=...) 中的值会成为原来 interrupt() 的返回值。([LangChain AI][1])

工具调用人工审核流程

用 interrupt 拦截待执行工具

下面的最小示例不依赖真实邮件服务,而是把 send_email 模拟成一个普通函数。关键点是:副作用函数只出现在 interrupt() 之后,因此第一次运行只会产生审核请求,不会发送任何内容。

python
from typing import Any, TypedDict

from langgraph.checkpoint.memory import InMemorySaver
from langgraph.graph import END, START, StateGraph
from langgraph.types import Command, interrupt

class ReviewState(TypedDict, total=False):
    pending_tool: dict[str, Any]
    result: str


def run_tool(call: dict[str, Any]) -> str:
    if call["name"] != "send_email":
        raise ValueError("unsupported tool")
    args = call["args"]
    return f"sent to {args['to']}: {args['subject']}"


def review_then_execute(state: ReviewState) -> ReviewState:
    call = state["pending_tool"]

    # 暂停并把真正待执行的工具名、参数交给审核方。
    decision = interrupt({
        "kind": "tool_review",
        "tool": call["name"],
        "args": call["args"],
    })

    # 只有明确批准才会进入副作用函数。
    if not decision.get("approved", False):
        return {"result": "rejected"}
    return {"result": run_tool(call)}


builder = StateGraph(ReviewState)
builder.add_node("review_then_execute", review_then_execute)
builder.add_edge(START, "review_then_execute")
builder.add_edge("review_then_execute", END)
graph = builder.compile(checkpointer=InMemorySaver())

config = {"configurable": {"thread_id": "review-demo"}}
first = graph.invoke(
    {
        "pending_tool": {
            "name": "send_email",
            "args": {
                "to": "ops@example.com",
                "subject": "Deploy report",
            },
        }
    },
    config=config,
)

request = first["__interrupt__"][0].value
print(f"review: {request['tool']} {request['args']}")

approved = graph.invoke(
    Command(resume={"approved": True}),
    config=config,
)
print(approved["result"])

预期输出

text
review: send_email {'to': 'ops@example.com', 'subject': 'Deploy report'}
sent to ops@example.com: Deploy report

示例使用 InMemorySaver 只适合本地演示。生产环境需要持久化 checkpointer,否则进程退出后无法可靠恢复待审核线程。实际界面可以把 request 渲染成审批卡片,但执行端仍应只信任恢复命令中的结构化决策。

处理拒绝与参数修改

最小策略只有“批准”和“拒绝”:当 approved 为 False 时返回拒绝结果,工具函数不会被调用。若业务允许审核人修改参数,应把修改后的结构化参数作为恢复值传回,并在执行前再次校验字段、权限和取值范围。

不要在 interrupt() 之前发送邮件、扣款或删除数据。LangGraph 恢复含有中断的节点时会重新从节点开头执行;放在中断前的非幂等副作用可能因此重复发生。最稳妥的边界是:审核前只准备数据,审核后才进入真正的高风险操作。([Docs by LangChain][2])

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

在工具调用前加入人工审核

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通