大模型原理与训练 / 系统课时

设计任务指标与评估脚本

设计任务指标与评估脚本

评估不是“挑一个分数越高越好”,而是先确定任务失败意味着什么,再选择能反映这种失败的指标。本篇用分类与文本生成两个最小例子,把标签后处理、文本归一化和指标计算固定进同一脚本,得到可重复执行的评估流程。

学习目标

  • 根据分类、生成和领域任务的误差类型选择 accuracy、F1、ROUGE 或领域指标。
  • 把预测后处理与指标计算写成确定性的评估代码。
  • 识别平均方式、文本归一化和数据版本变化对结果可比性的影响。

从任务风险反推指标

同一个任务可以同时报告多个指标,但必须有一个与主要风险对应的主指标。不要因为某个指标常见,就默认它适用于当前数据。

场景 优先关注 主要原因
类别较均衡的单标签分类 accuracy 直接反映预测正确比例
类别不均衡、各类都重要 macro F1 先分别计算各类别 F1,再等权平均
摘要、改写等文本生成 ROUGE 衡量预测与参考文本的词或序列重叠
医疗、检索、代码等领域任务 领域指标加人工检查 通用指标往往不能覆盖业务代价与正确性

accuracy 很容易解释,但在极度不均衡的数据上可能掩盖少数类失败。F1 还必须明确 macro、micro 或 weighted 等平均方式,否则两个“F1”分数未必可直接比较。ROUGE 适合衡量文本重叠,却不能单独证明事实正确、逻辑正确或回答有用。

把后处理纳入评估定义

评估脚本必须同时规定“模型输出如何变成指标输入”。分类任务通常需要把 logits 转成标签 ID,并保持固定标签映射;生成任务则要固定是否去首尾空白、统一大小写、处理标点以及是否做分词。

后处理不能按模型临时调整。若模型 A 保留标点、模型 B 删除标点再计算 ROUGE,那么最终差异混入了两套评估规则,而不再只代表模型能力差异。

固化为可重复脚本

下面示例同时计算分类的 accuracy、macro F1,以及生成任务的 ROUGE。生成文本先经过同一个归一化函数;输入数据写死在示例里,便于直接运行验证。运行环境需要已安装 evaluate,计算 ROUGE 时还需要其对应依赖。

python
import re

import evaluate

def normalize_text(text):
    text = text.strip().lower()
    text = re.sub(r"[^\w\s]", "", text)
    return re.sub(r"\s+", " ", text)

accuracy_metric = evaluate.load("accuracy")
f1_metric = evaluate.load("f1")
rouge_metric = evaluate.load("rouge")

class_predictions = [0, 1, 1, 0]
class_references = [0, 1, 0, 0]

accuracy = accuracy_metric.compute(
    predictions=class_predictions,
    references=class_references,
)["accuracy"]
macro_f1 = f1_metric.compute(
    predictions=class_predictions,
    references=class_references,
    average="macro",
)["f1"]

generated = [
    "The cat sat on the mat.",
    "A quick brown fox!",
]
references = [
    "the cat sat on the mat",
    "a quick brown fox",
]
generated = [normalize_text(x) for x in generated]
references = [normalize_text(x) for x in references]
rouge = rouge_metric.compute(predictions=generated, references=references)

print({"accuracy": round(accuracy, 4), "macro_f1": round(macro_f1, 4)})
print({key: round(value, 4) for key, value in rouge.items()})

预期输出

text
{'accuracy': 0.75, 'macro_f1': 0.7333}
{'rouge1': 1.0, 'rouge2': 1.0, 'rougeL': 1.0, 'rougeLsum': 1.0}

第二组结果为 1.0,是因为两组生成文本经过同一归一化函数后完全一致。这个例子刻意把“后处理属于评估定义”变成可观察结果,而不是把归一化散落在临时 notebook 中。

让结果真正可比较

脚本固定后,还要固定评估输入和推理条件。至少记录数据集名称与版本、split、模型或 checkpoint 标识,以及生成任务的解码参数。温度、采样方式、max_new_tokens 等变化都可能改变生成结果,因此必须和指标结果一起保存。

对分类任务,还要保存标签到 ID 的映射和 F1 平均方式。对生成任务,则要保存归一化规则与指标配置。若业务最终关心的是“事实是否正确”或“代码是否通过测试”,应把事实核验、测试通过率或人工评分作为领域指标,而不是让 ROUGE 替代真正的成功标准。

评估流程的目标不是产生更多数字,而是让同一数据、同一后处理和同一指标定义在不同模型之间可重复执行。只有先锁定这些条件,分数变化才具有可解释性。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

设计任务指标与评估脚本

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通