大模型原理与训练 / 系统课时
设计任务指标与评估脚本
设计任务指标与评估脚本
评估不是“挑一个分数越高越好”,而是先确定任务失败意味着什么,再选择能反映这种失败的指标。本篇用分类与文本生成两个最小例子,把标签后处理、文本归一化和指标计算固定进同一脚本,得到可重复执行的评估流程。
学习目标
- 根据分类、生成和领域任务的误差类型选择 accuracy、F1、ROUGE 或领域指标。
- 把预测后处理与指标计算写成确定性的评估代码。
- 识别平均方式、文本归一化和数据版本变化对结果可比性的影响。
从任务风险反推指标
同一个任务可以同时报告多个指标,但必须有一个与主要风险对应的主指标。不要因为某个指标常见,就默认它适用于当前数据。
| 场景 | 优先关注 | 主要原因 |
|---|---|---|
| 类别较均衡的单标签分类 | accuracy | 直接反映预测正确比例 |
| 类别不均衡、各类都重要 | macro F1 | 先分别计算各类别 F1,再等权平均 |
| 摘要、改写等文本生成 | ROUGE | 衡量预测与参考文本的词或序列重叠 |
| 医疗、检索、代码等领域任务 | 领域指标加人工检查 | 通用指标往往不能覆盖业务代价与正确性 |
accuracy 很容易解释,但在极度不均衡的数据上可能掩盖少数类失败。F1 还必须明确 macro、micro 或 weighted 等平均方式,否则两个“F1”分数未必可直接比较。ROUGE 适合衡量文本重叠,却不能单独证明事实正确、逻辑正确或回答有用。
把后处理纳入评估定义
评估脚本必须同时规定“模型输出如何变成指标输入”。分类任务通常需要把 logits 转成标签 ID,并保持固定标签映射;生成任务则要固定是否去首尾空白、统一大小写、处理标点以及是否做分词。
后处理不能按模型临时调整。若模型 A 保留标点、模型 B 删除标点再计算 ROUGE,那么最终差异混入了两套评估规则,而不再只代表模型能力差异。
固化为可重复脚本
下面示例同时计算分类的 accuracy、macro F1,以及生成任务的 ROUGE。生成文本先经过同一个归一化函数;输入数据写死在示例里,便于直接运行验证。运行环境需要已安装 evaluate,计算 ROUGE 时还需要其对应依赖。
import re
import evaluate
def normalize_text(text):
text = text.strip().lower()
text = re.sub(r"[^\w\s]", "", text)
return re.sub(r"\s+", " ", text)
accuracy_metric = evaluate.load("accuracy")
f1_metric = evaluate.load("f1")
rouge_metric = evaluate.load("rouge")
class_predictions = [0, 1, 1, 0]
class_references = [0, 1, 0, 0]
accuracy = accuracy_metric.compute(
predictions=class_predictions,
references=class_references,
)["accuracy"]
macro_f1 = f1_metric.compute(
predictions=class_predictions,
references=class_references,
average="macro",
)["f1"]
generated = [
"The cat sat on the mat.",
"A quick brown fox!",
]
references = [
"the cat sat on the mat",
"a quick brown fox",
]
generated = [normalize_text(x) for x in generated]
references = [normalize_text(x) for x in references]
rouge = rouge_metric.compute(predictions=generated, references=references)
print({"accuracy": round(accuracy, 4), "macro_f1": round(macro_f1, 4)})
print({key: round(value, 4) for key, value in rouge.items()})预期输出
{'accuracy': 0.75, 'macro_f1': 0.7333}
{'rouge1': 1.0, 'rouge2': 1.0, 'rougeL': 1.0, 'rougeLsum': 1.0}第二组结果为 1.0,是因为两组生成文本经过同一归一化函数后完全一致。这个例子刻意把“后处理属于评估定义”变成可观察结果,而不是把归一化散落在临时 notebook 中。
让结果真正可比较
脚本固定后,还要固定评估输入和推理条件。至少记录数据集名称与版本、split、模型或 checkpoint 标识,以及生成任务的解码参数。温度、采样方式、max_new_tokens 等变化都可能改变生成结果,因此必须和指标结果一起保存。
对分类任务,还要保存标签到 ID 的映射和 F1 平均方式。对生成任务,则要保存归一化规则与指标配置。若业务最终关心的是“事实是否正确”或“代码是否通过测试”,应把事实核验、测试通过率或人工评分作为领域指标,而不是让 ROUGE 替代真正的成功标准。
评估流程的目标不是产生更多数字,而是让同一数据、同一后处理和同一指标定义在不同模型之间可重复执行。只有先锁定这些条件,分数变化才具有可解释性。