大模型原理与训练 / 系统课时

编码器输出表示

编码器输出表示

编码器不会直接给出“类别”或“标签”,而是为序列中的每个位置生成上下文化向量。本课将拆解输出张量的语义,并演示如何把同一份编码器输出接到分类、序列标注和特征提取任务。

学习目标

  • 读懂编码器输出 [B, L, D] 三个维度的含义
  • 区分整序列表示与逐词元表示的使用方式
  • 能为常见下游任务选择合适的输出处理方法

输出张量代表什么

设批次大小为 BB、序列长度为 LL、隐藏维度为 DD,编码器输出形状通常为 [B, L, D]。其中每个位置的向量不再只表示当前词元,而是已经融合了整条序列中可见位置的信息。

输出长度一般与输入长度相同,因为编码器不会像池化层那样自动压缩序列。填充位置也会保留在张量中,因此后续做平均池化或损失计算时,必须继续使用掩码排除这些位置。

编码器输出到下游任务的数据流图

三类典型用法

序列分类需要把整条序列压缩成一个向量。常见做法是读取特殊标记位置,例如 [CLS],或对有效词元做掩码平均池化,再接一个线性分类层。

序列标注需要为每个位置输出标签,因此保留完整的 [B, L, D],对最后一维应用同一个线性层,得到 [B, L, C],其中 CC 是标签数量。

特征提取没有唯一形式。检索任务可能使用归一化后的整序列向量,关键词分析可能读取指定位置,跨模块传递则可能保留全部隐藏状态。

下游任务 读取方式 典型输出形状
文本分类 [CLS] 或掩码平均池化 [B, C]
序列标注 保留所有有效位置 [B, L, C]
特征提取 单位置、池化或完整序列 取决于用途

同一输出连接不同任务头

下面用一个随机张量模拟编码器输出,并分别生成分类结果、逐位置标签结果和整序列特征。示例中的掩码里,True 表示有效词元。

python
import torch
from torch import nn

torch.manual_seed(0)

batch_size = 2
seq_len = 5
hidden_size = 8
num_classes = 3
num_tags = 4

hidden = torch.randn(batch_size, seq_len, hidden_size)
attention_mask = torch.tensor([
    [True, True, True, True, False],
    [True, True, True, False, False],
])

classification_head = nn.Linear(hidden_size, num_classes)
tagging_head = nn.Linear(hidden_size, num_tags)

# 掩码平均池化:填充位置不参与求和与计数
mask = attention_mask.unsqueeze(-1)
summed = (hidden * mask).sum(dim=1)
counts = mask.sum(dim=1).clamp_min(1)
pooled = summed / counts

class_logits = classification_head(pooled)
tag_logits = tagging_head(hidden)
features = nn.functional.normalize(pooled, dim=-1)

print("class logits:", tuple(class_logits.shape))
print("tag logits:", tuple(tag_logits.shape))
print("features:", tuple(features.shape))

预期输出:

text
class logits: (2, 3)
tag logits: (2, 5, 4)
features: (2, 8)

分类头把每条序列映射为 3 个类别分数;标注头对 5 个位置分别产生 4 个标签分数;特征提取则保留每条序列的 8 维归一化表示。

处理输出时的关键边界

直接对所有位置取平均会把填充向量也算进去,导致短序列的表示被污染。正确做法是使用与编码器相同的有效位置掩码,并将分母限制为至少 1,避免全填充样本出现除零。

使用 [CLS] 位置并不天然优于平均池化。只有模型训练过程明确让该位置承担整序列汇聚职责时,它才具有稳定语义;否则应通过验证集比较不同池化策略。

序列标注还要注意子词对齐。一个原始单词可能被拆成多个词元,训练时需要决定只监督首个子词,还是让所有子词共享标签,这一选择应与数据预处理保持一致。

本课总结

  • 编码器输出 [B, L, D] 为每个位置提供上下文化表示
  • 分类任务需要汇聚序列,序列标注任务保留全部位置
  • 池化、损失和特征提取都必须正确处理填充掩码与词元对齐

下一课预告

下一课将进入解码器结构,说明因果掩码如何限制当前位置只能读取已经出现的目标词元。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

编码器输出表示

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通