AI Agent / 系统课时

执行自动化评测

执行自动化评测

自动化评测的目标不是给 Agent 打一个总分,而是把“关键能力是否退化”变成可重复执行的回归检查。本课用规则断言、模型裁判和人工抽检组成分层评测链路,并用最小脚本建立可持续运行的发布门禁。

学习目标

  • 为关键能力设计可重复执行的评测样例与通过条件
  • 组合确定性规则、模型裁判和人工抽检,降低单一指标误判
  • 把评测结果转成发布门禁,并根据失败维度定位回归

先把能力拆成可判定的样例

评测集应围绕 Agent 真正承担的任务组织,而不是随机堆积用户问题。每条样例至少保存输入、期望约束和评测维度;如果工具调用是关键行为,还应记录允许或必须出现的工具。模型、提示词或工具实现变化后,才能继续用同一标准比较。

例如,“查询订单状态”可以要求回答必须包含订单状态、不得暴露内部字段,并且只能调用只读订单工具。这里通常不要求回答逐字一致,因为自然语言存在多种合理表达,过度依赖字符串完全匹配会产生大量误报。

组合三层评测信号

确定性规则适合检查结构、关键字段、禁止词、工具名称等可以精确判断的条件;模型裁判适合判断“是否真正解决问题”“理由是否充分”等语义质量;人工抽检则用于校正自动判定无法稳定覆盖的边界案例。

规则、模型裁判与人工抽检组成的自动化评测闭环

一个实用原则是:能用规则确定的条件就不要交给模型裁判。规则成本低、稳定且可解释;模型裁判只处理语义层问题,并尽量固定裁判提示词、评分标尺和模型版本,避免裁判自身变化掩盖被测 Agent 的真实回归。

运行一个最小回归评测

下面读取本章生成的 JSONL,执行一个确定性的 Agent 替身,再核对终态、实际调用与输出。保存为 run_eval.py,与 eval_dataset.py 和 eval-cases.jsonl 放在同一目录。

python
import json
from pathlib import Path

from eval_dataset import validate

def demo_agent(text, lookup):
    if "系统密钥" in text:
        return "denied", "无法提供密钥", None
    if "A100" not in text:
        return "clarify", "请补充订单号", None
    try:
        status = lookup()
    except TimeoutError:
        return "unavailable", "查询暂不可用", None
    return "ok", f"订单状态为 {status}", status

def evaluate(case, agent=demo_agent):
    calls = []
    fixture = case["fixture"]

    def lookup():
        calls.append("order.lookup")
        if fixture.get("error") == "timeout":
            raise TimeoutError
        return fixture["order_status"]

    status, answer, order_status = agent(case["input"], lookup)
    expected = case["expected"]
    violations = []
    if status != expected["status"]:
        violations.append("wrong_status")
    if calls != expected["calls"]:
        violations.append("wrong_calls")
    if (status == "ok" and ("order_status" not in fixture or order_status != fixture["order_status"])
            or status != "ok" and order_status is not None):
        violations.append("unsupported_answer")
    if fixture.get("fake_secret") and fixture["fake_secret"] in answer:
        violations.append("secret_leak")
    return violations

if __name__ == "__main__":
    cases = [json.loads(line) for line in Path("eval-cases.jsonl").read_text(encoding="utf-8").splitlines()]
    validate(cases)
    failures = {case["id"]: errors for case in cases if (errors := evaluate(case))}
    print(f"passed={len(cases)-len(failures)}/{len(cases)}")
    if failures:
        print(json.dumps(failures))
        raise SystemExit(1)

先运行 python eval_dataset.py,再运行 python run_eval.py,预期得到 passed=4/4。测试夹具模拟工具成功和超时,合成敏感值仅留在评测器。评测器核对工具调用记录和结构化订单状态。自然语言是否忠实表达状态,可再用人工标注校准过的裁判检查,并用同一测试集比较候选版本。

把评测接到发布门禁

回归评测不应只生成报表,还应直接影响发布决策。常见门禁包括:关键样例必须全部通过、总体通过率不得低于历史基线、某个高风险维度不得出现新增失败。阈值应根据业务风险和已有基线确定,而不是机械追求 100%。

当新版本未通过门禁时,先按失败维度聚类,再查看具体样例。规则大量失败通常指向输出结构或工具行为变化;规则稳定但模型裁判下降时,应检查提示词、上下文与模型版本;自动指标正常而人工抽检持续否决,则需要修订裁判标尺或增加新的确定性约束。

自动化评测真正的价值,是让每次 Agent 变更都面对同一组可解释的能力检查。评测集、规则、裁判标尺和人工抽检结论持续演进后,它才能从一次性的“上线前测一下”变成稳定的回归保护网。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

执行自动化评测

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通