大模型应用开发 / 系统课时
执行规则评测
执行规则评测
规则评测适合检查那些答案唯一、格式明确或受业务约束的部分,例如字段是否匹配、JSON 结构是否合法、是否包含必要关键词、金额是否满足业务规则。它的优势是快速、稳定、可重复,但不应拿来替代语义质量评审。
学习目标
- 能把确定性要求拆成字段、格式、关键词和业务规则
- 能实现可重复运行的规则评测函数
- 能区分规则评测可以判定与不适合判定的内容
把要求拆成独立规则
不要写一个巨大判断表达式来决定通过或失败。更稳妥的方式是让每条规则只回答一个问题:关键字段是否一致、输出结构是否完整、必要词是否出现、业务约束是否成立。这样失败时能直接看到是哪条规则出了问题,也便于后续单独调整阈值或逻辑。
规则最好返回布尔结果和明确名称。总分可以由多个规则汇总,但在调试阶段必须保留逐项结果,否则一个“75 分”并不能告诉你应该改模型、提示词还是业务校验器。
实现一个最小规则评测器
下面示例评测退款回答。它检查订单号与状态、消息格式、必要关键词,以及退款金额必须与期望值一致的业务规则。示例包含一条通过结果和一条故意违反金额规则的失败结果。
def evaluate(output, expected):
results = {
"field_match": (
output.get("order_id") == expected["order_id"]
and output.get("status") == expected["status"]
),
"format": (
isinstance(output.get("message"), str)
and bool(output["message"].strip())
),
"keyword": "退款" in output.get("message", ""),
"business_rule": (
output.get("status") != "refunded"
or output.get("refund_amount") == expected["refund_amount"]
),
}
return results
def print_report(name, results):
overall = "PASS" if all(results.values()) else "FAIL"
detail = ", ".join(
f"{rule}={'PASS' if passed else 'FAIL'}"
for rule, passed in results.items()
)
print(f"{name}: {overall} | {detail}")
expected = {
"order_id": "ORD-1001",
"status": "refunded",
"refund_amount": 99.0,
}
good_output = {
"order_id": "ORD-1001",
"status": "refunded",
"refund_amount": 99.0,
"message": "订单已退款,金额为 99 元。",
}
bad_output = {
"order_id": "ORD-1001",
"status": "refunded",
"refund_amount": 89.0,
"message": "订单已退款,金额为 89 元。",
}
print_report("good", evaluate(good_output, expected))
print_report("bad", evaluate(bad_output, expected))预期输出:
good: PASS | field_match=PASS, format=PASS, keyword=PASS, business_rule=PASS
bad: FAIL | field_match=PASS, format=PASS, keyword=PASS, business_rule=FAIL这个结果说明规则评测不仅要给出总通过状态,还要保留每个判定项。第二条输出的字段、格式和关键词都没问题,但退款金额违反业务规则,因此整体必须失败。
处理规则评测的边界
字段匹配适合 ID、枚举值、状态码和确定数值;格式校验适合 JSON Schema、正则或固定字段集合;关键词检查只适用于确实必须出现的术语,不能把它当成语义理解。业务规则则应直接复用已经确认的产品规则,而不是临时从模型回答中推断。
让规则结果可以进入回归测试
在批量评测中,应为每条样本保存规则明细,并统计各规则的通过率。某次改动如果总通过率下降,就能继续追到具体规则和具体样本,而不是只得到一个模糊平均分。对于无法用确定规则判断的事实完整性、表达质量或多种正确答案,再补充人工评审或语义评测即可。
规则评测最适合承担“能机械判定的底线检查”。把确定性问题尽量前置给规则,可以让更昂贵的人工或模型评审只处理真正需要语义判断的部分。