AI Agent / 系统课时
设计 Agent 评估集
设计 Agent 评估集
本篇解决智能体开发完成后无法客观衡量效果的问题,通过设计固定任务、统一指标和自动化验证流程,建立可重复执行的 Agent 评估集,最终能够比较不同版本智能体在完成质量、成本和稳定性上的差异。
学习目标
- 理解 Agent 评估集的组成方式和设计原则
- 学会使用任务集衡量完成率、步骤数、成本和测试质量
- 掌握评估结果分析与版本对比方法
评估集解决什么问题
Agent 的输出通常具有不确定性,仅观察几个成功案例无法判断系统是否可靠。评估集通过固定输入、固定环境和明确验收标准,把一次性的人工体验转化为可重复测量的工程流程。
一个有效评估集需要覆盖真实使用场景中的关键能力,例如代码生成、问题定位、工具调用、文件修改和测试修复。每个任务不仅记录最终结果,还需要记录完成过程中的行为数据。
设计评估任务
评估任务应保持稳定,并且具有明确的成功条件。以编程 Agent 为例,一个任务可以包含需求描述、初始代码仓库、允许使用的工具以及最终验收测试。
name: fix-login-bug
task: 修复登录接口中的认证错误
repository: demo-project
successCriteria:
- tests_pass: true
- changed_files: limited
- response_contains_summary: true
metrics:
- success_rate
- tool_calls
- execution_time预期结果
评估任务能够被重复加载,并生成统一格式的评估记录。设计任务时需要避免只测试简单问答,而应该覆盖 Agent 的完整工作链路。一个任务失败时,评估数据应该帮助开发者判断是理解错误、规划错误还是执行错误。
建立评估指标
评估指标需要同时关注结果和过程。完成率用于判断任务是否成功,步骤数用于观察 Agent 是否进行了过多无效操作,成本指标用于衡量调用模型和工具的资源消耗。
常见指标包括:
| 指标 | 作用 |
|---|---|
| 完成率 | 判断最终任务是否达成 |
| 工具调用次数 | 判断执行效率 |
| Token 消耗 | 衡量运行成本 |
| 测试通过率 | 判断修改质量 |
| 修改范围 | 判断变更风险 |
单一指标容易误导。例如完成率提升但工具调用次数增加,可能代表 Agent 变得更可靠,也可能代表规划能力下降,需要结合多个指标分析。
自动执行评估流程
实际项目中通常将评估集接入持续集成流程,每次 Agent 版本变化后自动运行任务集,并保存结果用于比较。
from dataclasses import dataclass
@dataclass
class EvaluationResult:
task_id: str
success: bool
steps: int
cost: float
results = [
EvaluationResult("fix-login-bug", True, 8, 0.12)
]
passed = sum(item.success for item in results)
print(f"passed={passed}/{len(results)}")预期输出
passed=1/1自动评估的关键不是生成一个分数,而是持续发现版本变化带来的收益和退化。
常见评估误区
只使用人工打分会导致标准不稳定;只测试最终答案会忽略执行过程;只测试少量简单任务则无法发现复杂场景中的失败。
评估集也需要持续维护。当业务变化、新工具加入或模型升级后,应增加新的任务,并保留历史任务用于回归测试。
本课总结
- Agent 评估集通过固定任务和验收标准,把智能体能力转化为可测量结果。
- 完成率、成本、步骤和修改质量需要结合分析,不能依赖单一指标。
- 自动化评估能够帮助团队发现 Agent 版本迭代中的真实变化。
下一课预告
下一课将学习如何分类和分析 Agent 失败类型,通过定位失败来源提升系统可靠性。