AI Agent / 系统课时
设计 Agent 指标
设计 Agent 指标
Agent 指标不能只看模型延迟或 token 数。真正有用的评测需要同时回答任务是否完成、完成用了多少步骤、花了多久和多少钱,以及是否需要人工接管,从而把效果与效率放在同一套口径里。
学习目标
- 为任务成功率、步骤数、延迟、成本和人工介入率定义统一口径
- 用一批运行记录计算可复现的指标基线
- 避免平均值、样本混杂和指标互相替代造成误判
先把成功定义成可判定结果
任务成功率必须建立在明确的判定规则上。能自动验证的任务优先使用结果断言,例如订单是否创建、文件是否生成、答案是否命中标准字段;无法完全自动判断时,再引入评分模型或人工抽检。
成功率应作为第一层指标,因为更少步骤、更低成本都不能替代任务完成。一个 Agent 如果把平均步骤从 6 降到 3,却让成功率从 92% 降到 70%,通常不是优化,而是提前失败。
把五类指标放在同一张评测表
| 指标 | 推荐定义 | 解读重点 |
|---|---|---|
| 任务成功率 | 成功任务数 / 总任务数 | 首先看是否真正完成目标 |
| 步骤数 | 每次运行的模型或工具步骤数 | 识别绕路、循环与过度调用 |
| 延迟 | 从任务开始到最终结果的总耗时 | 同时关注平均值与 P95 |
| 成本 | 模型、工具或外部服务的单位任务成本 | 最好与成功任务联合分析 |
| 人工介入率 | 需要人工确认、修正或接管的任务占比 | 区分主动安全门禁与被动失败接管 |
人工介入率并不是越低越好。高风险支付、权限变更等任务中,主动要求人工确认可能是正确设计;因此需要给介入事件标注原因,区分策略要求和 Agent 失败。
用批量运行记录计算基线
下面的示例把四次运行汇总为五个核心指标。真实系统通常从轨迹存储或评测平台读取同样的字段,再按版本、任务类型和模型分组计算。
import json
from math import ceil, fsum
runs = [
{'success': True, 'steps': 3, 'latency_ms': 1200, 'cost_usd': 0.012, 'human': False},
{'success': True, 'steps': 5, 'latency_ms': 2100, 'cost_usd': 0.020, 'human': True},
{'success': False, 'steps': 4, 'latency_ms': 3500, 'cost_usd': 0.018, 'human': True},
{'success': True, 'steps': 2, 'latency_ms': 900, 'cost_usd': 0.010, 'human': False},
]
count = len(runs)
if count == 0:
raise ValueError("no terminal runs")
latencies = sorted(r["latency_ms"] for r in runs)
succeeded = sum(r["success"] for r in runs)
metrics = {
'task_success_rate': sum(r['success'] for r in runs) / count,
'avg_steps': sum(r['steps'] for r in runs) / count,
'avg_latency_ms': sum(r['latency_ms'] for r in runs) / count,
'p95_latency_ms': latencies[ceil(0.95 * count) - 1],
'avg_cost_usd': fsum(r['cost_usd'] for r in runs) / count,
'cost_per_success_usd': fsum(r['cost_usd'] for r in runs) / succeeded if succeeded else None,
'human_intervention_rate': sum(r['human'] for r in runs) / count,
}
print(json.dumps(metrics, indent=2))预期输出
{
"task_success_rate": 0.75,
"avg_steps": 3.5,
"avg_latency_ms": 1925.0,
"p95_latency_ms": 3500,
"avg_cost_usd": 0.015,
"cost_per_success_usd": 0.02,
"human_intervention_rate": 0.5
}这里用最近秩法计算 P95,4 个样本的 P95 就是最大值;线上应记录样本量和分位数算法。单位成功成本用全部运行的总成本除以成功次数,把失败消耗也计入。没有成功任务时为缺失值。该示例以进入终态的运行作分母;实际评测应明确超时、取消和未完成样本是否单列。算例数字只用于说明口径,不能脱离任务难度直接比较不同 Agent。更稳妥的做法是固定评测集,并给每条样本标记任务类别、风险级别和版本号,再比较同一分组内的变化。
用分层和分位数避免误判
平均延迟会掩盖少量极慢请求,因此线上评测至少再看 P50、P95 或 P99。成本也应区分成功与失败任务:失败任务如果消耗大量 token 或反复调用工具,平均成本可能看起来正常,但单位成功任务成本已经明显恶化。
发布新版本时,可以把成功率设为硬门槛,再观察步骤数、P95 延迟、单位成功任务成本和人工介入率是否改善。指标之间存在取舍时,应先保证任务质量与安全,再优化效率,而不是追求某一个数字单独变小。