大模型应用开发 / 系统课时

加入人工确认

加入人工确认

当模型信息不足,或下一步会产生高风险副作用时,最稳妥的做法不是继续猜,而是把工作流暂停在可恢复检查点,向人工展示上下文和待执行动作,得到明确批准后再继续。本节实现一个最小的人机协作流程。

学习目标

  • 能识别应进入人工确认的高风险或低置信度节点
  • 能在暂停前保存足够的工作流状态,并在批准后恢复
  • 能把批准、拒绝和修改意见设计成明确的分支

哪些节点应该暂停

人工确认最有价值的地方,是机器继续执行的潜在损失明显高于等待成本。典型场景包括付款、删除数据、对外发送内容、修改生产配置,以及模型缺少关键参数却准备自行补全的情况。

暂停条件最好由可检查的规则触发,而不是让模型自由决定。例如“金额超过阈值”“目标环境是 production”“置信度低于阈值”或“必填字段缺失”。模型可以提供风险描述,但最终门禁应由程序代码控制。

人工确认节点的暂停与恢复时序

用检查点承载暂停状态

下面的 Python 示例模拟“准备向生产环境执行变更”的流程。程序先构造待执行动作,再由规则判断是否需要审批;需要时把动作保存到检查点,并要求人工输入批准或拒绝。

python
from dataclasses import dataclass, asdict

@dataclass
class Action:
    target: str
    operation: str
    risk_level: str

def needs_approval(action: Action) -> bool:
    return action.target == "production" or action.risk_level == "high"

def execute(action: Action) -> None:
    print(f"executed: {action.operation} on {action.target}")

def run() -> None:
    action = Action(
        target="production",
        operation="restart payment-service",
        risk_level="high",
    )

    if not needs_approval(action):
        execute(action)
        return

    # 暂停前先保存恢复所需的最小上下文。
    checkpoint = {"state": "waiting_for_approval", "action": asdict(action)}
    print("checkpoint:", checkpoint)

    decision = input("approve? [yes/no]: ").strip().lower()
    if decision == "yes":
        execute(action)
        print("state: completed")
    else:
        print("state: rejected")

if __name__ == "__main__":
    run()

预期输出(输入 yes)

text
checkpoint: {'state': 'waiting_for_approval', 'action': {'target': 'production', 'operation': 'restart payment-service', 'risk_level': 'high'}}
approve? [yes/no]: yes
executed: restart payment-service on production
state: completed

示例把“是否需要审批”与“人工做什么决定”拆成两个阶段。真实系统里,checkpoint 应写入持久化存储,并包含工作流实例 ID、版本、待执行参数和幂等键,避免服务重启后丢失暂停状态。

把批准设计成三种明确结果

只有“继续”按钮通常不够。更实用的审批结果是批准、拒绝和修改后再审。批准意味着原动作参数不可再被模型偷偷改写;拒绝意味着当前分支终止;修改则把人工意见作为新输入返回规划节点,再生成新的候选动作。

为了避免旧审批误用于新动作,可以为候选动作计算版本号或摘要。动作内容一旦变化,旧批准立即失效,必须重新进入人工确认。

防止暂停节点变成新的故障点

人工确认会拉长工作流生命周期,因此需要额外处理超时、重复提交和并发恢复。审批等待超过业务时限时,应进入明确的 expired 状态,而不是无限挂起;同一审批请求被点击两次时,只允许第一次状态迁移成功。

执行高风险副作用前还应再次读取审批状态,而不是只相信内存中的旧结果。这样可以防止审批已被撤回、流程已过期或另一个执行器已经处理完成时仍然重复执行。

人工确认的核心不是“把人加进流程”,而是建立一个可持久化、可审计、可恢复的暂停点:机器负责准备候选动作和证据,人负责承担关键判断,程序负责保证批准对应的正是最终执行的那一次动作。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

加入人工确认

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通