大模型应用开发 / 系统课时
加入人工确认
加入人工确认
当模型信息不足,或下一步会产生高风险副作用时,最稳妥的做法不是继续猜,而是把工作流暂停在可恢复检查点,向人工展示上下文和待执行动作,得到明确批准后再继续。本节实现一个最小的人机协作流程。
学习目标
- 能识别应进入人工确认的高风险或低置信度节点
- 能在暂停前保存足够的工作流状态,并在批准后恢复
- 能把批准、拒绝和修改意见设计成明确的分支
哪些节点应该暂停
人工确认最有价值的地方,是机器继续执行的潜在损失明显高于等待成本。典型场景包括付款、删除数据、对外发送内容、修改生产配置,以及模型缺少关键参数却准备自行补全的情况。
暂停条件最好由可检查的规则触发,而不是让模型自由决定。例如“金额超过阈值”“目标环境是 production”“置信度低于阈值”或“必填字段缺失”。模型可以提供风险描述,但最终门禁应由程序代码控制。

用检查点承载暂停状态
下面的 Python 示例模拟“准备向生产环境执行变更”的流程。程序先构造待执行动作,再由规则判断是否需要审批;需要时把动作保存到检查点,并要求人工输入批准或拒绝。
from dataclasses import dataclass, asdict
@dataclass
class Action:
target: str
operation: str
risk_level: str
def needs_approval(action: Action) -> bool:
return action.target == "production" or action.risk_level == "high"
def execute(action: Action) -> None:
print(f"executed: {action.operation} on {action.target}")
def run() -> None:
action = Action(
target="production",
operation="restart payment-service",
risk_level="high",
)
if not needs_approval(action):
execute(action)
return
# 暂停前先保存恢复所需的最小上下文。
checkpoint = {"state": "waiting_for_approval", "action": asdict(action)}
print("checkpoint:", checkpoint)
decision = input("approve? [yes/no]: ").strip().lower()
if decision == "yes":
execute(action)
print("state: completed")
else:
print("state: rejected")
if __name__ == "__main__":
run()预期输出(输入 yes)
checkpoint: {'state': 'waiting_for_approval', 'action': {'target': 'production', 'operation': 'restart payment-service', 'risk_level': 'high'}}
approve? [yes/no]: yes
executed: restart payment-service on production
state: completed示例把“是否需要审批”与“人工做什么决定”拆成两个阶段。真实系统里,checkpoint 应写入持久化存储,并包含工作流实例 ID、版本、待执行参数和幂等键,避免服务重启后丢失暂停状态。
把批准设计成三种明确结果
只有“继续”按钮通常不够。更实用的审批结果是批准、拒绝和修改后再审。批准意味着原动作参数不可再被模型偷偷改写;拒绝意味着当前分支终止;修改则把人工意见作为新输入返回规划节点,再生成新的候选动作。
为了避免旧审批误用于新动作,可以为候选动作计算版本号或摘要。动作内容一旦变化,旧批准立即失效,必须重新进入人工确认。
防止暂停节点变成新的故障点
人工确认会拉长工作流生命周期,因此需要额外处理超时、重复提交和并发恢复。审批等待超过业务时限时,应进入明确的 expired 状态,而不是无限挂起;同一审批请求被点击两次时,只允许第一次状态迁移成功。
执行高风险副作用前还应再次读取审批状态,而不是只相信内存中的旧结果。这样可以防止审批已被撤回、流程已过期或另一个执行器已经处理完成时仍然重复执行。
人工确认的核心不是“把人加进流程”,而是建立一个可持久化、可审计、可恢复的暂停点:机器负责准备候选动作和证据,人负责承担关键判断,程序负责保证批准对应的正是最终执行的那一次动作。