AI Agent / 系统课时

测试、上线与迭代

测试、上线与迭代

AI Agent 能跑通一次并不代表已经可以交付。本篇把项目收口为一条可执行的发布链路:先验证核心行为和失败边界,再以可回滚方式上线,最后用真实运行数据决定下一轮优化,而不是凭感觉继续堆功能。

学习目标

  • 为 Agent 建立覆盖正常请求、异常输入和外部依赖故障的发布前测试门槛。
  • 按“候选版本、预发布、生产验证、回滚”流程完成一次受控上线。
  • 将成功率、延迟、成本和用户反馈转化为可排序的迭代任务。

把测试变成发布门槛

Agent 测试不能只检查程序是否返回 HTTP 200。真正需要验证的是:输入能否被正确理解、工具是否按预期调用、失败时是否安全退出,以及模型或外部服务变化后关键任务是否仍然成立。

发布前至少覆盖三类检查:确定性代码使用普通单元测试;工具调用和接口链路使用集成测试;包含模型判断的任务使用固定测试集比较任务完成率。对于模型输出,不要把整段自然语言逐字断言为固定字符串,更适合检查结构、关键字段和必须满足的业务条件。

上一节实现的是 CLI。把下面的代码与 support_agent.py 放在同一目录,保存为 test_support_agent.py,运行 python -m unittest -v test_support_agent.py。

python
import unittest

from support_agent import Result, run

class SupportAgentTests(unittest.TestCase):
    def test_grounded_answer(self):
        result = run("订单2026-1001为什么没发货?", "demo-account")
        self.assertEqual(result.status, "ok")
        self.assertIn("2026-1001", result.answer)
        self.assertIn("仓库处理中", result.answer)
        self.assertEqual(result.audit, (("search_kb", "ok"), ("get_order_status", "ok")))

    def test_other_account_and_missing_order_look_the_same(self):
        forbidden = run("订单 2026-1002", "demo-account")
        missing = run("订单 2026-9999", "demo-account")
        self.assertEqual(forbidden, missing)
        self.assertEqual(forbidden.status, "not_available")
        self.assertEqual(forbidden.answer, "")

    def test_unclear_order(self):
        self.assertEqual(run("查一下", "demo-account"), Result("clarify"))

    def test_unregistered_write(self):
        result = run("订单 2026-1001", "demo-account", choose=lambda _: "refund")
        self.assertEqual(result.status, "tool_denied")
        self.assertEqual(result.audit, (("unregistered", "denied"),))

    def test_no_early_success(self):
        result = run("订单 2026-1001", "demo-account", choose=lambda _: "finish")
        self.assertEqual(result.status, "incomplete")

    def test_step_limit(self):
        result = run("订单 2026-1001", "demo-account", max_steps=2)
        self.assertEqual(result.status, "step_limit")
        self.assertEqual(result.answer, "")

预期为 6 项测试通过。这些用例检查离线编排。若后来增加 HTTP 服务,再针对真实的路由与请求鉴权补接口测试,并加入可控超时和下游错误。服务健康、工具可用、任务成功应分别验收。

用可回滚链路完成上线

上线不应等价于“把新代码直接覆盖生产环境”。更稳妥的做法是先冻结一个候选版本,完成自动测试后部署到预发布环境,再执行冒烟测试;生产发布后观察一段关键指标,出现明显异常就恢复上一稳定版本。

Agent 从测试到上线再到迭代的发布闭环

每次部署都应带唯一版本号,例如 Git commit、镜像 digest 或发布编号。这样日志、指标和线上异常才能反查到具体代码,回滚时也能明确恢复哪个版本,而不是重新构建一个“看起来相同”的包。

生产发布前应确认模型名称、工具权限、数据库或缓存连接、密钥来源和超时参数均来自环境配置。密钥不要写入仓库;高风险工具还应限制可调用范围,避免测试环境正常但生产凭据拥有过大权限。

上线后验证真实运行状态

发布完成只是开始。Agent 上线后的验证至少要同时观察正确性、可靠性、性能和成本。只看服务器是否存活,很容易漏掉“接口正常但任务质量已经下降”的问题。

可以为每个版本持续记录任务成功率、人工转接率、工具调用失败率、端到端延迟、模型调用次数以及单任务成本。对于关键业务,再保留一套固定评测任务,在更换提示词、模型或工具实现后重新运行,防止局部优化造成回归。

当生产指标异常时,先判断问题来自应用代码、提示词、模型、工具服务还是外部数据。能够通过回滚快速消除的问题应先恢复服务,再离线分析根因,不要在故障现场连续修改多个变量。

把反馈转化为下一轮迭代

Agent 很容易陷入“继续加工具、继续改 Prompt”的无序迭代。更有效的方法是把线上失败样本分类,并依据影响范围和修复成本决定优先级。例如,同一种工具参数错误每天出现数百次,通常比偶发的措辞问题更值得优先处理。

每轮迭代可以只回答三个问题:失败发生在哪个环节;有什么证据证明修改能改善它;修改后用什么指标判断有效。对于模型行为变化,还应把已确认的失败样本加入回归测试集,使曾经解决的问题不再悄悄出现。

一次完整交付最终应形成稳定闭环:测试集定义最低质量门槛,发布流程保证变更能够验证和回滚,线上数据负责暴露真实问题,而新的失败样本又进入下一轮测试。这样 Agent 才从一次性演示项目变成能够持续演进的应用。

按自己的节奏,确认真正理解。

目录与阅读设置

记录一个想法

测试、上线与迭代

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通