大模型原理与训练 / 系统课时

跑通最小下一词元预测

跑通最小下一词元预测

这一节用一个只有词元嵌入、线性层和 Softmax 的极简模型跑通“给定当前词元,预测下一个词元”的完整闭环。重点不是训练出好模型,而是亲手看见输入如何变成 logits、概率分布和最终预测,为后续理解 Transformer 语言建模建立可验证基线。

学习目标

  • 说清下一词元预测中输入、logits、概率和预测结果的关系
  • 用一个可运行的最小示例完成前向计算与 Softmax
  • 区分“模型输出分数”和“真正的下一个词元预测”

从一个词元到一组候选分数

假设词表只有三个词元:我、喜欢、猫,它们的 ID 分别是 0、1、2。模型接收当前词元 ID,先查嵌入得到一个向量,再通过线性层为词表中的每个候选词元产生一个分数。

这组三个分数称为 logits。logits 可以是任意实数,它们还不是概率;数值越大,只表示模型当前更偏向对应词元。若词表大小为 VV,那么单个位置的输出通常就是长度为 VV 的向量。

Softmax 将 logits 变为和为 1 的概率分布:

pi=ezi∑jezjp_i = \frac{e^{z_i}}{\sum_j e^{z_j}}

其中 ziz_i 是第 ii 个词元的 logit,pip_i 是对应概率。推理时最简单的做法是选择概率最大的词元;真正的 GPT 生成通常还会使用温度、Top-k 或随机采样。

跑通最小前向预测

下面只用 Python 标准库实现一次前向计算。嵌入表和线性层权重直接写死,因此示例不包含训练,却完整保留了“输入 ID → 嵌入 → logits → Softmax → 预测 ID”的推理路径。

python
import math

vocab = ["我", "喜欢", "猫"]

embedding_table = [
    [1.0, 0.0],
    [0.0, 1.0],
    [0.5, 0.5],
]

# 每一列对应一个候选词元,线性层把 2 维隐藏向量映射到 3 个 logits。
weight = [
    [0.2, 1.0, -0.5],
    [0.1, -0.2, 0.3],
]
bias = [0.0, 0.0, 0.0]

def softmax(values):
    peak = max(values)
    exps = [math.exp(v - peak) for v in values]
    total = sum(exps)
    return [v / total for v in exps]

token_id = 0
hidden = embedding_table[token_id]

logits = [
    sum(hidden[d] * weight[d][v] for d in range(len(hidden))) + bias[v]
    for v in range(len(vocab))
]
probs = softmax(logits)
next_id = max(range(len(probs)), key=probs.__getitem__)

print("input:", vocab[token_id])
print("logits:", [round(x, 4) for x in logits])
print("probs:", [round(x, 4) for x in probs])
print("next:", vocab[next_id])

预期输出

text
input: 我
logits: [0.2, 1.0, -0.5]
probs: [0.2687, 0.5979, 0.1334]
next: 喜欢

这里的 input: 我 并不表示模型理解了汉语语义。因为权重是人工指定的,结果只是一个可控演示。真正训练时,模型会通过大量“当前上下文对应正确下一个词元”的样本不断调整参数,让正确目标的概率逐步提高。

语言建模闭环真正闭合在哪里

一次前向计算只得到当前位置对下一个词元的分布。训练闭环还需要一个真实目标,例如输入 我 的目标是 喜欢,再用交叉熵衡量模型给目标词元的概率是否足够高,并通过反向传播更新参数。

推理闭环则不同:没有真实答案参与更新,而是从概率分布中选择或采样一个词元,把它追加到已有上下文,再把更长的序列送回模型继续预测。于是单步“下一词元预测”重复执行,就形成自回归生成。

看结果时最容易混淆的三件事

logits、概率和词元 ID 属于三个不同层次。logits 是模型原始分数,概率是归一化后的相对置信度,词元 ID 则是词表中的离散索引。把它们混为一谈,会让后面理解交叉熵、采样和输出层都变得困难。

这个最小示例已经建立了语言建模最核心的计算闭环:上下文经过参数化前向计算得到词表分数,再转成分布并选出下一词元。Transformer 会把“如何得到更好的隐藏表示”做得复杂得多,但最终仍然要回到这一步。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

跑通最小下一词元预测

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通