大模型应用开发 / 系统课时
连接工作流与 Agent 框架
连接工作流与 Agent 框架
学习目标
完成本课后,你将能够:
- 识别框架连接 Ollama 的 Provider 方式
- 把模型调用、工具和状态拆成独立节点
- 为重试、超时、幂等和人工审批建立边界
- 避免框架默认值掩盖模型能力差异
框架接入的三种方式
工作流或 Agent 框架通常通过:
- 官方 Ollama 集成
- OpenAI 兼容客户端
- 自定义模型适配器
原生集成更容易使用 keep_alive、thinking 和 Ollama 特有字段;兼容集成迁移成本低;自定义适配器控制最完整。
工作流节点拆分
推荐节点:
text
输入校验
→ 权限检查
→ 模型选择
→ 提示词构建
→ 模型调用
→ 结构验证
→ 工具审批
→ 工具执行
→ 结果回传
→ 最终输出
→ 日志与指标把所有逻辑塞进一个 Agent 节点会降低可观测性和可恢复性。
状态管理
需要持久化的状态可能包括:
- 任务 ID
- 用户与权限
- 当前轮次
- 消息历史
- 已执行工具
- 工具幂等键
- 中间结果
- 错误与重试次数
- 最终状态
- 模型与提示词版本
状态不应只存在模型上下文中。
重试边界
适合自动重试:
- 临时连接失败
- 503 过载
- 可恢复工具超时
- 格式验证失败的一次受控重试
不适合盲目重试:
- 权限拒绝
- 参数业务非法
- 写操作结果不确定
- 模型不存在
- 达到上下文上限
- 用户取消
重试写操作必须使用幂等键。
人工审批
以下节点可暂停工作流等待审批:
- 发送外部消息
- 修改生产数据
- 删除资源
- 发布内容
- 产生费用
- 调用高权限工具
审批页面应显示模型建议、参数、影响范围和可撤销性,而不是只显示“是否继续”。
框架配置检查
框架可能自动设置:
- 默认模型
- 温度
- 最大输出
- 重试次数
- 上下文裁剪
- 工具调用格式
- 流式开关
接入后要打印或记录最终请求,确认框架没有静默覆盖预期参数。
最小连通性探测
无论框架如何封装,都可先验证兼容端点:
bash
curl --fail --silent --show-error http://localhost:11434/v1/chat/completions -H "Content-Type: application/json" -d '{
"model": "gemma3:1b",
"messages": [
{"role": "user", "content": "只回答:workflow-ready"}
],
"temperature": 0
}'预期结果:
text
HTTP 200,返回非空 choices[0].message.content。可观测性
每个节点记录:
- 输入摘要
- 输出状态
- 开始和结束时间
- 重试次数
- 模型和 Token
- 工具名称与耗时
- 人工审批人
- 错误类别
- 最终终止原因
日志应使用任务 ID 关联,但敏感内容需要脱敏。
本课练习
练习 1:拆分一个 Agent 流程
任务目标:提升可观测性。输入或初始条件:选择知识问答或数据查询任务。实现要求:拆为至少 6 个节点。验收条件:模型调用与工具执行是两个节点。
练习 2:设计重试矩阵
任务目标:避免错误重试。输入或初始条件:列出连接、权限、格式和写操作错误。实现要求:为每类定义重试次数。验收条件:写操作具有幂等策略。
练习 3:加入人工审批
任务目标:保护高风险动作。输入或初始条件:工作流包含发送或删除操作。实现要求:设计审批数据和恢复状态。验收条件:拒绝后流程明确结束。
按自己的节奏,确认真正理解。