AI Agent / 系统课时

设计 Agent 指标

设计 Agent 指标

Agent 指标不能只看模型延迟或 token 数。真正有用的评测需要同时回答任务是否完成、完成用了多少步骤、花了多久和多少钱,以及是否需要人工接管,从而把效果与效率放在同一套口径里。

学习目标

  • 为任务成功率、步骤数、延迟、成本和人工介入率定义统一口径
  • 用一批运行记录计算可复现的指标基线
  • 避免平均值、样本混杂和指标互相替代造成误判

先把成功定义成可判定结果

任务成功率必须建立在明确的判定规则上。能自动验证的任务优先使用结果断言,例如订单是否创建、文件是否生成、答案是否命中标准字段;无法完全自动判断时,再引入评分模型或人工抽检。

成功率应作为第一层指标,因为更少步骤、更低成本都不能替代任务完成。一个 Agent 如果把平均步骤从 6 降到 3,却让成功率从 92% 降到 70%,通常不是优化,而是提前失败。

把五类指标放在同一张评测表

指标 推荐定义 解读重点
任务成功率 成功任务数 / 总任务数 首先看是否真正完成目标
步骤数 每次运行的模型或工具步骤数 识别绕路、循环与过度调用
延迟 从任务开始到最终结果的总耗时 同时关注平均值与 P95
成本 模型、工具或外部服务的单位任务成本 最好与成功任务联合分析
人工介入率 需要人工确认、修正或接管的任务占比 区分主动安全门禁与被动失败接管

人工介入率并不是越低越好。高风险支付、权限变更等任务中,主动要求人工确认可能是正确设计;因此需要给介入事件标注原因,区分策略要求和 Agent 失败。

用批量运行记录计算基线

下面的示例把四次运行汇总为五个核心指标。真实系统通常从轨迹存储或评测平台读取同样的字段,再按版本、任务类型和模型分组计算。

python
import json
from math import ceil, fsum

runs = [
    {'success': True,  'steps': 3, 'latency_ms': 1200, 'cost_usd': 0.012, 'human': False},
    {'success': True,  'steps': 5, 'latency_ms': 2100, 'cost_usd': 0.020, 'human': True},
    {'success': False, 'steps': 4, 'latency_ms': 3500, 'cost_usd': 0.018, 'human': True},
    {'success': True,  'steps': 2, 'latency_ms': 900,  'cost_usd': 0.010, 'human': False},
]

count = len(runs)
if count == 0:
    raise ValueError("no terminal runs")
latencies = sorted(r["latency_ms"] for r in runs)
succeeded = sum(r["success"] for r in runs)
metrics = {
    'task_success_rate': sum(r['success'] for r in runs) / count,
    'avg_steps': sum(r['steps'] for r in runs) / count,
    'avg_latency_ms': sum(r['latency_ms'] for r in runs) / count,
    'p95_latency_ms': latencies[ceil(0.95 * count) - 1],
    'avg_cost_usd': fsum(r['cost_usd'] for r in runs) / count,
    'cost_per_success_usd': fsum(r['cost_usd'] for r in runs) / succeeded if succeeded else None,
    'human_intervention_rate': sum(r['human'] for r in runs) / count,
}

print(json.dumps(metrics, indent=2))

预期输出

json
{
  "task_success_rate": 0.75,
  "avg_steps": 3.5,
  "avg_latency_ms": 1925.0,
  "p95_latency_ms": 3500,
  "avg_cost_usd": 0.015,
  "cost_per_success_usd": 0.02,
  "human_intervention_rate": 0.5
}

这里用最近秩法计算 P95,4 个样本的 P95 就是最大值;线上应记录样本量和分位数算法。单位成功成本用全部运行的总成本除以成功次数,把失败消耗也计入。没有成功任务时为缺失值。该示例以进入终态的运行作分母;实际评测应明确超时、取消和未完成样本是否单列。算例数字只用于说明口径,不能脱离任务难度直接比较不同 Agent。更稳妥的做法是固定评测集,并给每条样本标记任务类别、风险级别和版本号,再比较同一分组内的变化。

用分层和分位数避免误判

平均延迟会掩盖少量极慢请求,因此线上评测至少再看 P50、P95 或 P99。成本也应区分成功与失败任务:失败任务如果消耗大量 token 或反复调用工具,平均成本可能看起来正常,但单位成功任务成本已经明显恶化。

发布新版本时,可以把成功率设为硬门槛,再观察步骤数、P95 延迟、单位成功任务成本和人工介入率是否改善。指标之间存在取舍时,应先保证任务质量与安全,再优化效率,而不是追求某一个数字单独变小。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

设计 Agent 指标

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通