大模型原理与训练 / 系统课时

生成任务指标

生成任务指标

生成任务往往没有唯一正确答案,因此不能像分类任务那样只看准确率。本课将用 BLEU 与 ROUGE 说明自动指标如何比较候选文本和参考文本,并帮助你判断分数能说明什么、不能说明什么。

学习目标

  • 理解 BLEU 的修正精确率和长度惩罚
  • 理解 ROUGE-N、ROUGE-L 的召回导向
  • 能根据任务选择指标并识别自动评估边界

BLEU 解决什么问题

BLEU 最初用于机器翻译评估。它把候选文本拆成一元组、二元组等 n-gram,统计其中有多少也出现在参考文本中。为避免重复词刷高分,BLEU 使用“截断计数”:某个 n-gram 在候选文本中出现再多次,最多只能匹配参考文本中的出现次数。

完整 BLEU 通常会组合多个 n-gram 精确率:

BLEU=BP×exp(Σwnlogpn)BLEU = BP × exp(Σ w_n log p_n)

其中 pnp_n 是第 nn 阶修正精确率,wnw_n 是权重,BPBP 是长度惩罚。候选文本明显过短时,即使其中每个词都正确,得分也会被压低。BLEU 更适合语料级比较,不宜把单句分数当作稳定结论。

ROUGE 关注什么

ROUGE 常用于摘要评估,更强调参考答案中的关键信息是否被候选文本覆盖。ROUGE-N 统计参考 n-gram 被命中的比例;ROUGE-L 则基于最长公共子序列,允许匹配内容之间存在不连续间隔,因此比严格连续匹配更能容忍轻微改写。

BLEU 偏向“生成出来的内容有多少是参考中认可的”,ROUGE 偏向“参考中的内容有多少被生成结果覆盖”。二者都依赖参考文本,但观察角度不同。

用最小示例观察计算

下面的可运行示例只演示 BLEU-1 的截断精确率和 ROUGE-L 的核心计算,不包含完整 BLEU 的多阶几何平均、平滑策略与分词规范。

python
from collections import Counter

def clipped_precision(reference: list[str], candidate: list[str], n: int) -> float:
    # 分别统计参考文本与候选文本中的 n-gram 次数
    ref_counts = Counter(
        tuple(reference[i:i + n]) for i in range(len(reference) - n + 1)
    )
    cand_counts = Counter(
        tuple(candidate[i:i + n]) for i in range(len(candidate) - n + 1)
    )

    # 每个 n-gram 的匹配次数不能超过参考文本中的上限
    matched = sum(min(count, ref_counts[gram]) for gram, count in cand_counts.items())
    total = sum(cand_counts.values())
    return matched / total if total else 0.0

def lcs_length(a: list[str], b: list[str]) -> int:
    # 动态规划计算最长公共子序列长度
    dp = [[0] * (len(b) + 1) for _ in range(len(a) + 1)]
    for i in range(1, len(a) + 1):
        for j in range(1, len(b) + 1):
            if a[i - 1] == b[j - 1]:
                dp[i][j] = dp[i - 1][j - 1] + 1
            else:
                dp[i][j] = max(dp[i - 1][j], dp[i][j - 1])
    return dp[-1][-1]

reference = "the cat is on the mat".split()
candidate = "the cat sat on the mat".split()

bleu1 = clipped_precision(reference, candidate, n=1)
lcs = lcs_length(reference, candidate)
rouge_l_recall = lcs / len(reference)
rouge_l_precision = lcs / len(candidate)
rouge_l_f1 = 2 * rouge_l_precision * rouge_l_recall / (
    rouge_l_precision + rouge_l_recall
)

print(f"BLEU-1 clipped precision: {bleu1:.3f}")
print(f"ROUGE-L recall: {rouge_l_recall:.3f}")
print(f"ROUGE-L F1: {rouge_l_f1:.3f}")

预期输出

text
BLEU-1 clipped precision: 0.833
ROUGE-L recall: 0.833
ROUGE-L F1: 0.833

候选文本把 is 换成了 sat,因此共有 5 个词能够匹配。这个例子也说明:词面重合分数相同,并不代表句子含义、事实性或表达质量完全相同。

如何选择和解读指标

场景 更常用的指标 重点观察
机器翻译 BLEU 多阶 n-gram 精确率与长度是否合理
自动摘要 ROUGE-1、ROUGE-2、ROUGE-L 关键信息覆盖和序列一致性
开放式问答或对话 自动指标加人工评估 语义正确、事实可靠、回答有用

比较模型时,应固定分词方式、大小写处理、参考文本和计算实现,并优先报告同一测试集上的整体结果。不同工具、不同预处理流程产生的 BLEU 或 ROUGE 分数不能直接横向比较。

常见误区与适用边界

高词面重合不等于高质量。语义正确的改写可能因用词不同而得分偏低,事实错误的句子也可能因为复制了参考词汇而得分偏高。参考答案本身若不完整,指标还会系统性低估合理输出。

因此,BLEU 和 ROUGE 适合做批量筛选、版本回归和总体趋势比较,不适合作为开放生成任务的唯一验收标准。涉及事实性、帮助性、安全性或风格要求时,应与人工评估或专门指标联合使用。

本课总结

  • BLEU 以修正 n-gram 精确率为核心,并用长度惩罚限制过短输出
  • ROUGE 更关注参考内容的覆盖率,ROUGE-L 利用最长公共子序列衡量顺序相似性
  • 自动指标便于规模化比较,但不能替代对语义、事实和安全性的判断

下一课预告

下一课将把自动分数之外的质量要求转化为可执行的人工评估标准,并设计评分、抽样与一致性控制流程。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

生成任务指标

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通