大模型应用开发 / 系统课时

执行规则评测

执行规则评测

规则评测适合检查那些答案唯一、格式明确或受业务约束的部分,例如字段是否匹配、JSON 结构是否合法、是否包含必要关键词、金额是否满足业务规则。它的优势是快速、稳定、可重复,但不应拿来替代语义质量评审。

学习目标

  • 能把确定性要求拆成字段、格式、关键词和业务规则
  • 能实现可重复运行的规则评测函数
  • 能区分规则评测可以判定与不适合判定的内容

把要求拆成独立规则

不要写一个巨大判断表达式来决定通过或失败。更稳妥的方式是让每条规则只回答一个问题:关键字段是否一致、输出结构是否完整、必要词是否出现、业务约束是否成立。这样失败时能直接看到是哪条规则出了问题,也便于后续单独调整阈值或逻辑。

规则最好返回布尔结果和明确名称。总分可以由多个规则汇总,但在调试阶段必须保留逐项结果,否则一个“75 分”并不能告诉你应该改模型、提示词还是业务校验器。

实现一个最小规则评测器

下面示例评测退款回答。它检查订单号与状态、消息格式、必要关键词,以及退款金额必须与期望值一致的业务规则。示例包含一条通过结果和一条故意违反金额规则的失败结果。

python
def evaluate(output, expected):
    results = {
        "field_match": (
            output.get("order_id") == expected["order_id"]
            and output.get("status") == expected["status"]
        ),
        "format": (
            isinstance(output.get("message"), str)
            and bool(output["message"].strip())
        ),
        "keyword": "退款" in output.get("message", ""),
        "business_rule": (
            output.get("status") != "refunded"
            or output.get("refund_amount") == expected["refund_amount"]
        ),
    }
    return results

def print_report(name, results):
    overall = "PASS" if all(results.values()) else "FAIL"
    detail = ", ".join(
        f"{rule}={'PASS' if passed else 'FAIL'}"
        for rule, passed in results.items()
    )
    print(f"{name}: {overall} | {detail}")

expected = {
    "order_id": "ORD-1001",
    "status": "refunded",
    "refund_amount": 99.0,
}

good_output = {
    "order_id": "ORD-1001",
    "status": "refunded",
    "refund_amount": 99.0,
    "message": "订单已退款,金额为 99 元。",
}

bad_output = {
    "order_id": "ORD-1001",
    "status": "refunded",
    "refund_amount": 89.0,
    "message": "订单已退款,金额为 89 元。",
}

print_report("good", evaluate(good_output, expected))
print_report("bad", evaluate(bad_output, expected))

预期输出:

text
good: PASS | field_match=PASS, format=PASS, keyword=PASS, business_rule=PASS
bad: FAIL | field_match=PASS, format=PASS, keyword=PASS, business_rule=FAIL

这个结果说明规则评测不仅要给出总通过状态,还要保留每个判定项。第二条输出的字段、格式和关键词都没问题,但退款金额违反业务规则,因此整体必须失败。

处理规则评测的边界

字段匹配适合 ID、枚举值、状态码和确定数值;格式校验适合 JSON Schema、正则或固定字段集合;关键词检查只适用于确实必须出现的术语,不能把它当成语义理解。业务规则则应直接复用已经确认的产品规则,而不是临时从模型回答中推断。

让规则结果可以进入回归测试

在批量评测中,应为每条样本保存规则明细,并统计各规则的通过率。某次改动如果总通过率下降,就能继续追到具体规则和具体样本,而不是只得到一个模糊平均分。对于无法用确定规则判断的事实完整性、表达质量或多种正确答案,再补充人工评审或语义评测即可。

规则评测最适合承担“能机械判定的底线检查”。把确定性问题尽量前置给规则,可以让更昂贵的人工或模型评审只处理真正需要语义判断的部分。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

执行规则评测

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通