AI Agent / 系统课时

设计 Agent 评估集

设计 Agent 评估集

本篇解决智能体开发完成后无法客观衡量效果的问题,通过设计固定任务、统一指标和自动化验证流程,建立可重复执行的 Agent 评估集,最终能够比较不同版本智能体在完成质量、成本和稳定性上的差异。

学习目标

  • 理解 Agent 评估集的组成方式和设计原则
  • 学会使用任务集衡量完成率、步骤数、成本和测试质量
  • 掌握评估结果分析与版本对比方法

评估集解决什么问题

Agent 的输出通常具有不确定性,仅观察几个成功案例无法判断系统是否可靠。评估集通过固定输入、固定环境和明确验收标准,把一次性的人工体验转化为可重复测量的工程流程。

一个有效评估集需要覆盖真实使用场景中的关键能力,例如代码生成、问题定位、工具调用、文件修改和测试修复。每个任务不仅记录最终结果,还需要记录完成过程中的行为数据。

设计评估任务

评估任务应保持稳定,并且具有明确的成功条件。以编程 Agent 为例,一个任务可以包含需求描述、初始代码仓库、允许使用的工具以及最终验收测试。

yaml
name: fix-login-bug
task: 修复登录接口中的认证错误
repository: demo-project
successCriteria:
  - tests_pass: true
  - changed_files: limited
  - response_contains_summary: true
metrics:
  - success_rate
  - tool_calls
  - execution_time

预期结果

text
评估任务能够被重复加载,并生成统一格式的评估记录。

设计任务时需要避免只测试简单问答,而应该覆盖 Agent 的完整工作链路。一个任务失败时,评估数据应该帮助开发者判断是理解错误、规划错误还是执行错误。

建立评估指标

评估指标需要同时关注结果和过程。完成率用于判断任务是否成功,步骤数用于观察 Agent 是否进行了过多无效操作,成本指标用于衡量调用模型和工具的资源消耗。

常见指标包括:

指标 作用
完成率 判断最终任务是否达成
工具调用次数 判断执行效率
Token 消耗 衡量运行成本
测试通过率 判断修改质量
修改范围 判断变更风险

单一指标容易误导。例如完成率提升但工具调用次数增加,可能代表 Agent 变得更可靠,也可能代表规划能力下降,需要结合多个指标分析。

自动执行评估流程

实际项目中通常将评估集接入持续集成流程,每次 Agent 版本变化后自动运行任务集,并保存结果用于比较。

python
from dataclasses import dataclass

@dataclass
class EvaluationResult:
    task_id: str
    success: bool
    steps: int
    cost: float

results = [
    EvaluationResult("fix-login-bug", True, 8, 0.12)
]

passed = sum(item.success for item in results)
print(f"passed={passed}/{len(results)}")

预期输出

text
passed=1/1

自动评估的关键不是生成一个分数,而是持续发现版本变化带来的收益和退化。

常见评估误区

只使用人工打分会导致标准不稳定;只测试最终答案会忽略执行过程;只测试少量简单任务则无法发现复杂场景中的失败。

评估集也需要持续维护。当业务变化、新工具加入或模型升级后,应增加新的任务,并保留历史任务用于回归测试。

本课总结

  • Agent 评估集通过固定任务和验收标准,把智能体能力转化为可测量结果。
  • 完成率、成本、步骤和修改质量需要结合分析,不能依赖单一指标。
  • 自动化评估能够帮助团队发现 Agent 版本迭代中的真实变化。

下一课预告

下一课将学习如何分类和分析 Agent 失败类型,通过定位失败来源提升系统可靠性。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

设计 Agent 评估集

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通