大模型原理与训练 / 知识点
大模型从选型到部署术语速查
读懂结构与生成原理
对各词元的表示分别进行非线性变换的网络模块;用于理解模型层的计算组成,它不同于在词元之间交换信息的注意力计算。arXiv
前馈网络(FFN)
前馈网络(Feed-Forward Network,FFN)是在 Transformer 层内对每个词元的隐藏表示分别执行同一组非线性变换的模块;它负责变换单个位置的特征,而不直接在不同词元之间交换信息。
成立边界
在标准位置独立的 FFN 中,给定某一层的输入后,一个词元经过 FFN 得到什么,只取决于该词元自己的向量和共享的 FFN 参数。不同位置使用同一套权重,但彼此不会因为 FFN 这一步直接读取对方的表示。
常见实现会先把隐藏维度投影到更大的中间维度,经过激活函数或门控,再投影回模型维度。具体层数和门控形式并不固定,例如带门控的 FFN 不能简单等同于“线性层 + ReLU + 线性层”。

与注意力的区别
| 模块 | 主要问题 | 是否直接混合不同词元 |
|---|---|---|
| 注意力 | 当前词元应从哪些位置读取信息 | 是 |
| FFN | 当前词元已有表示应如何做非线性特征变换 | 否 |
两者通常在同一 Transformer 层中配合工作:注意力负责位置之间的信息交互,FFN 负责对每个位置的结果继续变换。
最小例子
下面的可运行 Python 例子用同一个两层函数分别处理两个“词元向量”,再修改第二个词元,验证第一个词元的 FFN 输出不受影响。它只是说明“逐位置独立”这一边界,不是实际大模型实现。
def relu(values):
return [max(0.0, v) for v in values]
def linear(matrix, vector):
return [
sum(weight * value for weight, value in zip(row, vector))
for row in matrix
]
w1 = [[1.0, 0.0], [0.0, 1.0]]
w2 = [[1.0, 0.0], [0.0, 1.0]]
def ffn(token_vector):
hidden = relu(linear(w1, token_vector))
return linear(w2, hidden)
tokens = [[1.0, -2.0], [3.0, 4.0]]
print(ffn(tokens[0]))
print(ffn(tokens[1]))
tokens[1] = [100.0, 100.0]
print(ffn(tokens[0]))预期输出:
[1.0, 0.0]
[3.0, 4.0]
[1.0, 0.0]第三行仍与第一行相同,说明只改变第二个词元时,第一个词元的 FFN 结果不会因此直接改变。
常见误解是把 FFN 理解成“负责理解上下文的部分”。上下文之间的直接信息汇聚主要由注意力等词元混合机制完成,FFN 处理的是已经位于某个位置上的表示。
通过路由器为输入选择部分专家参与计算的模型结构;用于理解稀疏激活与模型扩容,不等于由多个独立聊天机器人协同完成任务。Hugging Face
混合专家(MoE)
混合专家(Mixture of Experts,MoE)是一种在模型内部放置多个专家子网络,并由路由器为不同输入选择少量专家参与计算的稀疏模型结构。
核心机制
典型 MoE 会把原本的密集 FFN 替换为多个并列专家。对每个词元,路由器计算专家选择分数,再按 Top-k 策略激活少数专家,并按对应权重合并结果;未被选中的专家通常不参与该词元这次计算。

MoE 的优势核心是计算稀疏化与参数扩容可以分离考虑:增加专家数量可以扩大总参数容量,但单个词元仍只计算少数专家。不过实际成本还受到路由开销、专家负载是否均衡、跨设备通信、批次组成和显存访问效率影响,因此“参数更多”不等于“推理一定更慢或更快”。
与容易混淆的概念
| 概念 | 组织方式 | 单次计算特点 |
|---|---|---|
| 密集 FFN | 一组固定 FFN 参数服务所有词元 | 每个词元都经过同一组参数 |
| MoE | 多个专家 + 路由器 | 每个词元只激活少量专家 |
| 多智能体 | 多个相对独立的智能体 | 通过消息、工具或任务编排协作 |
MoE 的专家通常是同一个模型内部的参数化子模块,并不意味着存在多个独立的聊天机器人或多个模型实例互相对话。多智能体解决的是系统层面的协作与编排,MoE 解决的是模型层面的条件计算。
最小机制例子
下面的可运行示例用两个 Python 函数模拟两个专家,并用 Top-1 路由展示“先选择、后执行”的核心机制。真实 MoE 的路由器通常是可学习的,并会输出路由分数而不是直接按符号条件判断。
def expert_positive(x):
return [v * 2 for v in x]
def expert_nonpositive(x):
return [v - 1 for v in x]
def route(token):
# 用第一个分量模拟路由依据;这里只演示 Top-1。
if token[0] > 0:
return "expert_positive", expert_positive
return "expert_nonpositive", expert_nonpositive
tokens = [[2, 3], [-1, 4]]
for token in tokens:
name, expert = route(token)
print(name, expert(token))预期输出:
expert_positive [4, 6]
expert_nonpositive [-2, 3]这里每个输入只执行一个被选中的专家,体现了稀疏激活的最小边界。真实系统还需要处理 Top-k 权重、容量限制、专家负载均衡以及不同设备之间的通信。
常见误解
常见误解是“MoE 会把请求发给所有专家,再让专家投票”。稀疏 MoE 的关键恰恰在于条件选择少量专家;路由器决定哪些专家参与,多个专家的输出再按模型定义的方式组合,而不是让所有专家都完整执行一遍。
描述模型规模、训练数据与计算投入同损失变化之间的经验关系;用于讨论训练资源配比,不是保证所有下游能力同步增长的定理。arXiv
缩放定律(Scaling Laws)
缩放定律描述一类经过训练实验观察得到的规律:在相近的模型架构、数据与训练设置下,扩大模型规模、训练数据量或计算投入时,训练或验证损失通常会按较稳定的趋势改善,可用于估算继续扩大训练的收益和资源配比。
它实际描述什么
缩放定律不是“模型越大越强”的单一结论,而是用实验数据拟合规模与损失之间的关系。常见形式可近似写成 ,其中 表示计算投入, 表示损失;具体参数需要由实验数据估计。
这种关系只在特定实验条件和有效区间内成立。模型架构、数据分布、数据质量、训练目标、优化方法、上下文长度等发生明显变化后,原来的拟合参数、斜率甚至有效区间都可能改变。
如何用于训练资源规划
实际使用时,通常先比较多组不同规模的训练实验,再根据损失随模型参数、训练 token 或计算量变化的趋势估算边际收益。这样可以辅助回答“继续增加模型规模还是增加训练数据”之类的预算问题,而不是直接给出某项业务能力的保证。
| 观察对象 | 缩放定律能回答什么 | 不能直接回答什么 |
|---|---|---|
| 模型规模 | 损失随规模扩大如何变化 | 某个具体任务一定提升多少 |
| 训练数据量 | 数据增加后的损失趋势 | 新数据是否一定覆盖业务知识缺口 |
| 计算投入 | 增加训练计算后的边际收益 | 线上推理成本是否值得 |
与下游能力的关系
损失是连续的训练指标,而下游任务往往具有离散或非线性的表现。例如,验证损失持续下降,并不意味着代码生成、事实性、推理、安全性等能力都会同步、等比例提高。后训练、提示策略、评测集质量和任务本身的难度都可能影响最终结果。
因此,“更低损失”应被视为一种训练尺度上的证据,而不是对某项应用指标的直接承诺。尤其在出现能力跃迁、评测阈值或数据分布变化时,不能简单把损失曲线外推为业务能力曲线。
最小例子
假设同一模型族保持训练方法和数据分布基本一致,分别使用不同的参数量与训练 token 进行多组实验。若验证损失随计算量增加呈稳定下降趋势,就可以据此拟合缩放关系,并估算继续投入计算资源可能带来的收益。
若扩大后的模型验证损失更低,但专业问答集准确率几乎没有变化,也不能据此判定缩放定律失效。两者测量的是不同对象:前者关注训练尺度与损失的经验关系,后者关注特定下游任务表现。
选择训练与后训练路线
预训练从大规模数据学习通用表示,继续预训练在已有权重上延续类似目标;用于补充领域分布,不应与基于问答示例的指令训练混淆。arXiv
预训练与继续预训练
预训练是从初始模型权重出发,在大规模语料上通过语言建模等自监督目标学习通用能力;继续预训练则从已有预训练权重继续执行相同或相近的训练目标,通常用于补充新的语言、时期或专业领域数据分布。
成立边界
判断是否属于继续预训练,关键看起点和训练目标。它以已有基础模型权重为起点,并继续使用预测 token 等预训练目标;即使训练数据换成法律、医学或企业内部语料,只要目标仍属于预训练范式,通常仍称为继续预训练。
继续预训练可能提升模型对特定领域词汇、表达方式和知识分布的适应程度,但效果取决于数据质量、数据规模、学习率、训练步数以及通用数据是否保留。领域数据过窄或训练过度时,也可能损害原有通用能力。
与指令训练的区别
| 方式 | 常见起点 | 训练数据重点 | 主要目标 |
|---|---|---|---|
| 预训练 | 随机或初始权重 | 大规模通用语料 | 学习通用语言与知识表示 |
| 继续预训练 | 已预训练模型 | 新领域或新分布语料 | 调整模型对数据分布的建模能力 |
| 指令训练 | 已预训练或继续预训练模型 | 指令、输入与期望回答 | 学习按指令组织和输出回答 |
继续预训练与指令训练可以串联使用:先通过领域语料调整模型的知识和语言分布,再通过指令样本训练模型如何根据用户请求作答,但两者解决的问题不同。
最小例子
一个通用基础模型继续读取大量金融报告,并仍以预测后续 token 为训练目标,这是继续预训练。如果随后使用“问题—答案”“任务描述—期望回复”等成对样本训练它按要求回答金融问题,则后一步属于指令训练,而不是继续预训练。
用输入及期望输出样本继续训练模型,使其适配任务或交互方式;用于理解指令微调,不是实时知识检索,也不能保证新知识准确记忆。Hugging Face
监督微调(SFT)
监督微调(Supervised Fine-Tuning,SFT)是用成对的输入与期望输出样本继续训练已有模型,使模型更倾向于按照示例中的任务规则、回答方式或输出格式生成结果。
边界
SFT 的前提是训练数据中存在可作为监督目标的期望输出,训练过程据此调整模型参数。它常用于指令跟随、特定任务适配和输出风格对齐,但不等于实时检索,也不能保证模型把样本中的事实永久、准确地记住。
SFT 改变的是模型参数及其行为分布;如果需求是让模型访问持续变化的外部知识,通常还需要检索、工具调用或其他运行时机制。
与相邻方法的区别
| 方法 | 主要改变什么 | 更适合解决什么问题 |
|---|---|---|
| SFT | 模型参数 | 指令遵循、任务行为、输出格式 |
| 继续预训练 | 模型参数 | 让模型继续学习大量领域文本的分布与表达 |
| RAG | 推理时上下文 | 引入可更新、可追溯的外部知识 |
SFT 和继续预训练都会更新模型参数,但监督信号不同;RAG 通常不要求为了新增知识而重新训练模型。
最小例子
假设训练样本把“将用户问题整理成三条简短要点”作为输入,并提供符合该格式的目标回答。经过足够且一致的 SFT 后,模型更可能在相似请求中遵循“三条要点”的交互方式。
这说明 SFT 可以塑造行为,但不能据此推断模型已经获得实时事实来源,也不能保证每个训练事实都能在任意上下文中被准确召回。
只训练少量新增或选定参数的适配方法集合;用于比较微调资源需求,不等于仅使用更少训练数据,也不保证效果总与全参数微调相同。Hugging Face
参数高效微调(PEFT)
参数高效微调(Parameter-Efficient Fine-Tuning,PEFT)是一类只训练少量新增参数或选定参数、同时让大部分基础模型参数保持不变的微调方法。
边界
PEFT 中的“参数高效”主要描述需要更新、保存和分发的可训练参数规模,而不是“训练样本一定更少”。训练仍可能需要大量数据、显存、计算时间和质量控制,具体成本取决于模型、方法、序列长度和训练设置。
PEFT 是方法集合而不是单一算法,LoRA、适配器等都可以属于这一思路。不同方法修改的位置、可训练参数和推理部署方式可能不同。
与全参数微调的区别
| 方式 | 基础模型参数 | 训练与保存特征 |
|---|---|---|
| PEFT | 大部分通常保持冻结 | 重点训练并保存较小的适配参数 |
| 全参数微调 | 大量或全部参数可更新 | 训练状态和模型产物通常更大 |
PEFT 常用于希望在同一基础模型上维护多个任务适配版本的场景,但“可训练参数更少”并不意味着训练效果必然等同或优于全参数微调。
最小例子
假设已有一个基础语言模型,需要分别适配客服摘要和技术问答。采用 LoRA 时,可以保留同一份基础模型权重,为两个任务分别训练和保存各自的 LoRA 适配参数,而不是为每个任务都保存一整份重新微调后的基础模型。
这里节省的是需要训练和管理的参数规模;两个任务仍然需要各自合适的训练数据与评估过程。
以低秩矩阵表示并学习部分权重的增量,通常冻结原有权重;用于理解轻量适配器,秩控制增量容量,不是把原模型所有权重重新压缩。Hugging Face
低秩适配(LoRA)
LoRA 是一种参数高效微调方法:通常冻结预训练权重,只为选定权重矩阵学习低秩增量,使任务适配所需训练参数显著少于全参数微调。([arXiv][1])
边界
对原权重矩阵 ,LoRA 不要求重新训练整个 ,而是用两个较小矩阵表示增量,例如 。若 的形状为 、 为 ,通常选择远小于原矩阵维度的秩 。
这里的“低秩”描述的是待学习的权重增量,不是先把原模型权重做低秩分解再压缩保存。实际实现还需要指定哪些模块使用 LoRA;秩越高,通常可训练参数和适配容量也越大。([Hugging Face][2])
与相邻概念的区别
| 方法 | 基座权重 | 主要训练对象 | 核心目的 |
|---|---|---|---|
| LoRA | 通常冻结 | 低秩增量矩阵 | 减少微调参数与训练资源 |
| 全参数微调 | 更新 | 原模型大量或全部参数 | 直接调整完整模型参数 |
| 权重低秩压缩 | 被近似或替换 | 视方案而定 | 减少模型存储或计算量 |
因此,“LoRA 使用低秩矩阵”和“把整个模型压缩成低秩模型”不是同一件事。
最小例子
假设一个被适配的线性层权重为 ,原矩阵约有 1678 万个参数。若 LoRA 使用 ,对应两个增量矩阵只包含 个参数;原权重仍然保留,并在前向计算中与学到的增量共同决定结果。
常见误解是认为“秩越低,原模型就被压缩得越小”。LoRA 的秩主要控制适配增量的参数预算与表达容量;是否合并适配器、最终如何存储或部署,是另一层问题。
在冻结的低位量化基座上训练低秩适配参数,以降低微调显存需求;用于评估资源受限训练,不等于所有梯度和计算都采用四位精度。arXiv
量化低秩微调(QLoRA)
QLoRA 是把量化基座与 LoRA 结合的参数高效微调方法:预训练模型以低位形式保存并保持冻结,梯度通过该基座传播,用来训练额外的 LoRA 适配参数,从而降低微调时最主要的权重显存占用。([arXiv][3])
边界
原始 QLoRA 方法使用冻结的 4 位量化预训练模型,并把梯度反向传播到 LoRA 适配器;论文还提出 NF4、双重量化和分页优化器等节省内存的技术。([arXiv][3])
“4 位”首先描述基座权重的量化存储,并不意味着训练中的每个张量、梯度和算术操作都必须以 4 位精度完成。实际计算会根据实现使用更高精度的计算数据类型,LoRA 参数也不等同于冻结的 4 位基座权重。
与 LoRA 的区别
| 方法 | 基座权重形态 | 基座是否训练 | 训练对象 |
|---|---|---|---|
| LoRA | 可保持原始精度 | 通常冻结 | LoRA 低秩参数 |
| QLoRA | 低位量化,原始方案为 4 位 | 冻结 | LoRA 低秩参数 |
| 全参数量化训练 | 取决于具体方法 | 可能更新 | 不限于 LoRA 参数 |
QLoRA 的关键组合是“量化且冻结的基座 + 可训练的 LoRA 适配器”,而不是简单地把普通 LoRA 的所有运算改成 4 位。
最小例子
设一个大模型的基座权重以 4 位量化形式装入显存,并保持不更新;训练时只保存和更新插入到目标层中的 LoRA 参数。反向传播仍需经过基座计算图来得到 LoRA 的梯度,但优化器不会把冻结的量化基座当作普通全参数微调对象更新。
常见误解是把 QLoRA 理解成“4 位全参数微调”。判断是否属于 QLoRA,应重点检查基座是否冻结、是否以低位量化形式承载,以及真正被优化的是否是 LoRA 适配参数。
使模型行为更符合预期目标、偏好或约束的研究与训练方向;用于明确后训练目的,不是某一种算法,也不等于模型从此不会犯错。arXiv
对齐(Alignment)
对齐是让模型行为更符合预先定义的目标、偏好或约束的过程与研究方向;讨论“是否对齐”时,关键不是模型用了哪种训练算法,而是目标是什么、如何衡量,以及行为是否朝目标改善。
对齐的对象
对齐可能针对不同层面的行为,例如遵循指令、满足用户偏好、遵守系统约束、降低特定风险。不同目标之间可能发生冲突,因此“更对齐”不能脱离具体任务和评价标准单独判断。
对齐通常是程度性的。完成一次后训练并不意味着模型绝对正确、绝对安全或会无条件服从;分布外输入、上下文变化、目标冲突和评价指标遗漏,都可能产生不符合预期的结果。
训练方法与对齐目标不是一回事
| 概念 | 关注重点 | 与对齐的关系 |
|---|---|---|
| 对齐 | 模型行为与指定目标、偏好或约束是否匹配 | 研究目标或评价问题 |
| 指令微调 | 通过指令—回答数据增强任务遵循能力 | 可作为实现部分对齐目标的训练手段 |
| RLHF / RLAIF | 利用人类或 AI 反馈构造偏好、奖励等信号 | 常见的反馈驱动后训练路线 |
| 安全训练 | 降低特定有害、违规或失控行为 | 可对应对齐中的某类安全目标 |
因此,采用 RLHF、RLAIF 或指令微调,只能说明使用了某类训练方法,不能单独推出模型已经满足完整的对齐要求。
如何判断是否改善
应先写清目标,再观察行为指标。例如目标是“信息不足时不要虚构订单状态”,可以评估模型是否更经常明确表达不确定性、索取必要信息,并同时检查它是否因此在本可回答的问题上出现过度拒答。
评价结果需要同时看目标收益与副作用。单项指标上升并不自动代表整体行为更符合预期,尤其当多个目标存在权衡时。
最小例子
客服模型收到“帮我查订单现在到哪了”,但请求中没有订单号。经过针对性训练后,模型更常要求用户提供订单号,而不是直接编造物流状态,这说明该特定目标上的行为发生了对齐改善。
常见误解是把对齐理解成“模型不会犯错”或“模型一定服从用户”。更准确的判断方式是:先明确目标和边界,再根据可观察行为评估模型与这些目标的符合程度。
分别利用人类反馈和人工智能反馈构造强化学习所需的偏好或奖励信号;用于区分反馈来源,不代表使用了同一种奖励模型或优化算法。arXiv
RLHF 与 RLAIF
RLHF(Reinforcement Learning from Human Feedback)和 RLAIF(Reinforcement Learning from AI Feedback)都表示利用反馈信号改进模型行为;区分它们时首先看反馈由谁产生,而不是假定两者采用同一种奖励模型、强化学习算法或训练流水线。
成立边界
典型 RLHF 会收集人类对多个候选回答的偏好、评分或其他反馈,再把这些信号用于奖励建模或后续策略优化。典型 RLAIF 则让另一个模型依据规则、原则或提示对候选回答进行评价,再把 AI 产生的偏好或评分用于类似的后训练环节。
名称只说明反馈来源这一核心区别。具体实现可能在数据生成、评价形式、奖励建模和策略优化上明显不同,因此不能仅凭“RLHF”或“RLAIF”判断一定使用 PPO、一定训练独立奖励模型,或一定采用完全相同的训练阶段。
两者怎么区分
| 维度 | RLHF | RLAIF |
|---|---|---|
| 主要反馈来源 | 人类标注者或评审者 | AI 模型或 AI 评审器 |
| 常见反馈形式 | 排序、偏好、评分、修订意见 | 排序、评分、批评、基于原则的判断 |
| 主要优势来源 | 人类直接表达目标与偏好 | 可扩大反馈生成规模并降低部分人工标注成本 |
| 主要风险 | 标注成本高、标注者之间可能不一致 | 评审模型的偏差和错误可能被继承或放大 |
两者也可以组合使用,例如先由 AI 生成大规模反馈,再用人工抽查、校准或补充困难样本。此时不能简单把整个流程归结为只有一种反馈来源。
最小例子
同一个问题生成回答 A 和回答 B。若由人工评审者选择“B 更符合要求”,再用这些选择训练偏好或奖励信号,这属于 RLHF 的典型反馈来源;若改由一个评审模型依据既定原则选择 B,则属于 RLAIF 的典型反馈来源。
后续即使两条路线都把偏好转成奖励并优化策略,也不能因此认为 RLHF 与 RLAIF 是同一种方法;它们最直接的区别仍是反馈的产生者。
常见误解是把 RLHF 理解为“任何有人类数据参与的训练”,或把 RLAIF 理解为“完全没有人类设计”。RLAIF 的评价原则、提示词、训练数据和验收标准仍可能由人类制定;判断术语时应具体检查反馈生成环节。
根据输入与候选输出估计偏好或质量分数的模型;用于理解后训练的评价信号,分数只是所学偏好的近似,不能直接当作事实正确率。arXiv
奖励模型(Reward Model)
奖励模型是根据输入和候选输出估计偏好或质量信号的模型,常用于把人工偏好数据等评价信号转化为后训练阶段可利用的奖励。
它到底在评估什么
奖励模型学习的是训练数据中隐含的评价规律,而不是一个独立存在的客观真值。训练数据怎样定义“更好”,模型就会倾向于学习什么,因此奖励分数首先反映的是与已学习评价标准的一致程度。
它可以输出一个标量分数,也可以用于比较多个候选输出。无论采用哪种形式,都应把结果理解为评价信号,而不是事实核验结果。
成立边界
奖励模型的判断通常受训练数据、评价标准、输入分布和候选输出分布限制。超出这些覆盖范围后,分数的解释力可能下降,因此不能仅凭一个高分断言回答真实、完整、安全或符合全部业务约束。
分数尺度也通常只在特定奖励模型和使用方式下有意义。更换模型版本、训练数据或任务分布后,1.8 并不天然比另一个模型输出的 1.2 更高质量。
不要把它与其他评价机制混为一谈
| 概念 | 主要回答的问题 | 判断依据 |
|---|---|---|
| 奖励模型 | 候选输出是否更符合所学偏好 | 学习得到的评价模式 |
| 规则评分器 | 输出是否满足明确规则 | 人工编写的确定性条件 |
| 事实核验 | 某个陈述是否有证据支持 | 外部证据或事实来源 |
| 价值模型 | 当前状态未来可能获得多少累计回报 | 对未来回报的估计 |
奖励模型可以把事实性、帮助性或安全性等因素纳入训练目标,但这不意味着它自动具备对应领域的客观判定能力。
最小例子
同一提示词下,回答 A 和回答 B 分别得到奖励模型分数 1.8 和 0.7。在当前奖励模型和评价体系中,可以把 A 理解为更受偏好的候选,并据此生成排序或奖励信号。
这里的 1.8 不是“180% 的质量”,也不是“1.8 的事实正确率”。如果更换奖励模型、训练数据或任务分布,原始分数通常不能直接横向比较。
常见误解是把奖励模型当成绝对可靠的裁判。它本质上是从偏好数据中学习出来的近似评价器,可能继承数据偏差,也可能漏掉未被训练目标覆盖的要求;策略模型还可能找到“容易获得高分”的输出,而不一定真正满足业务目标。
通过裁剪目标等机制抑制过大的策略更新的强化学习算法;用于理解偏好对齐训练,算法名称并不规定奖励来源,也不保证训练必然稳定。arXiv
近端策略优化(PPO)
近端策略优化(Proximal Policy Optimization,PPO)是一类策略梯度强化学习算法,通过限制新策略相对旧策略的单次更新幅度来降低剧烈策略变化的风险;在大模型后训练中,它可以利用奖励信号更新生成策略,但并不规定奖励必须来自奖励模型。
成立边界
PPO 的典型裁剪目标会比较新旧策略对已采样动作的概率比,并把超出指定区间的改进收益截断。这样做是在优化目标层面抑制过大的更新,不等于给参数变化或 KL 散度设置绝对不可突破的硬边界。
PPO 仍依赖采样质量、优势估计、奖励尺度、学习率和批次设置等因素,因此“使用 PPO”本身不能推出训练一定稳定、不会发生奖励投机,也不能说明最终模型一定更符合人工意图。
与相邻概念的区别
| 概念 | 主要作用 |
|---|---|
| PPO | 根据奖励和优势信号更新策略,并限制单次更新过激 |
| 奖励模型 | 为候选输出估计偏好或质量信号 |
| 监督微调 | 直接学习给定输入对应的目标输出 |
| KL 约束或惩罚 | 控制当前策略与参考策略之间的偏离程度 |
奖励模型回答“当前输出获得什么评价”,PPO回答“怎样依据奖励更新策略”。二者经常组合出现,但并不是彼此定义的一部分。
最小例子
下面是 PPO 裁剪目标的概念化片段示例,用于说明“限制更新幅度”的含义,并非可独立运行的训练程序:
ratio = pi_new(a|s) / pi_old(a|s)
clipped_ratio = clamp(ratio, 1 - epsilon, 1 + epsilon)
objective = min(ratio * advantage, clipped_ratio * advantage)其中 ratio 表示新旧策略对同一已采样动作的概率比;当它偏离 1 过多时,裁剪项会限制继续通过这一方向获得更大的目标收益。实际实现还需要轨迹采样、优势估计、价值函数训练以及多轮小批量更新等上下文。
预期结果是:与完全不限制概率比的策略梯度更新相比,裁剪目标会降低单批数据把策略推得过远的激励,但不会保证每一次训练步骤都满足固定的 KL 上限。
常见误解是把 PPO 等同于“奖励模型训练”。奖励模型通常负责产生或近似奖励,PPO负责利用奖励优化策略;奖励也可以来自规则、环境或其他评价器。
利用优选与非优选回答直接优化模型的偏好目标;用于理解成对偏好训练,标准形式不需单独拟合显式奖励模型,但仍依赖偏好数据质量。Hugging Face
直接偏好优化(DPO)
直接偏好优化(Direct Preference Optimization,DPO)是一种使用“优选回答与非优选回答”成对数据直接调整语言模型偏好的后训练方法;标准 DPO 不需要先单独训练显式奖励模型,再通过独立的强化学习阶段优化策略。
边界
DPO 的核心输入是针对同一上下文的偏好对,例如一个回答被标记为 chosen,另一个被标记为 rejected。训练目标提高模型对优选回答相对于非优选回答的偏好,同时通常借助参考模型约束策略不要偏离初始模型过远。
“不需要显式奖励模型”不等于“不需要偏好信号”。偏好标签本身就是监督来源,其准确性、覆盖范围和一致性会直接影响训练结果。标准 DPO 也不是在线探索算法:它通常从已经收集好的偏好数据中学习,而不是依靠训练过程中持续与环境交互获得新奖励。
与 SFT 和基于奖励模型的 RLHF 对比
| 方法 | 主要训练信号 | 是否需要成对偏好 | 是否通常单独训练奖励模型 |
|---|---|---|---|
| SFT | 目标回答本身 | 否 | 否 |
| DPO | 优选与非优选回答的相对偏好 | 是 | 标准形式不需要 |
| 基于奖励模型的 RLHF | 奖励模型给出的标量奖励 | 奖励模型训练阶段通常需要 | 通常需要 |
因此,DPO 简化的是“显式奖励模型加独立 RL 优化器”这一训练链路,并没有消除数据构造、参考策略选择或偏好质量控制。
最小例子
下面是概念性的片段示例,不是可运行代码;它只表示一条 DPO 偏好样本所需的基本关系:
prompt: 请计算 2 + 2。
chosen: 4
rejected: 5训练时模型要提高 chosen 相对于 rejected 的相对偏好,而不是简单把 chosen 当成普通 SFT 标签、完全忽略另一条回答。实际数据通常包含更长的提示词与回答,并可能同时存在噪声或主观偏好。
常见误解
常见误解是把 DPO 理解成“没有奖励,因此不属于偏好优化”。更准确的说法是:DPO 把偏好建模和策略优化关系转化为可直接优化的目标,从而省去单独拟合显式奖励模型的步骤;它仍然依赖能够区分优劣回答的偏好数据。
利用同一问题多个候选的相对奖励估计优势并优化策略;用于理解推理类强化学习训练,组内比较并不免除奖励设计与采样质量要求。Hugging Face
组相对策略优化(GRPO)
组相对策略优化(Group Relative Policy Optimization,GRPO)是一类策略优化方法:针对同一输入采样一组候选回答,根据这些回答在组内的相对奖励构造优势信号,再用该信号更新策略模型。
边界
GRPO 的“组相对”指比较同一问题的一组候选,而不是只依据某个回答孤立的绝对分数。常见实现会利用组内奖励统计量形成相对优势,因此可以不依赖 PPO 中单独训练的价值模型或 critic;具体的归一化、裁剪和正则项会随实现而变化。
省去价值模型并不意味着训练不再需要奖励。奖励仍可能来自可验证规则、程序判分器、奖励模型或其他评价函数;如果奖励目标设计错误、候选缺乏多样性,组内比较同样可能产生低质量训练信号。
与 PPO 和 DPO 对比
| 方法 | 主要比较对象 | 奖励或偏好来源 | 典型特点 |
|---|---|---|---|
| GRPO | 同一输入的一组采样回答 | 每个候选的奖励 | 用组内相对结果估计优势,通常不需要独立价值模型 |
| PPO | 策略采样结果 | 奖励及价值估计 | 通常同时使用策略模型和价值估计进行更新 |
| DPO | 一对优选与非优选回答 | 离线偏好对 | 直接优化成对偏好目标,标准形式不执行在线策略梯度阶段 |
GRPO 与 DPO 都可以用于对齐或后训练,但两者的数据形态和优化过程不同:DPO 的基本单位是偏好对,GRPO 的基本单位通常是对同一输入生成的一组候选及其奖励。
最小例子
下面是概念性的片段示例,不是可运行代码;它展示一组候选如何形成相对训练信号:
prompt: 求一道数学题的最终答案
candidate A: reward = 1.0
candidate B: reward = 0.2
candidate C: reward = 0.7在这个组里,A 的奖励相对较高,B 相对较低,C 位于两者之间。GRPO 可依据组内奖励关系构造优势并推动策略提高高奖励回答的概率;实际实现如何缩放奖励、计算优势以及施加策略约束,需要以所用训练框架的具体算法定义为准。
常见误解
常见误解是认为“只做组内比较,所以奖励只要能排序就一定可靠”。实际上,候选如何采样、奖励函数衡量什么、组大小以及奖励分布都会影响训练信号;GRPO 减少的是对独立价值模型的依赖,而不是对可靠评价信号的依赖。
通过教师模型提供的输出或分布等信号训练学生模型;用于理解能力迁移与模型压缩,不等于复制教师参数,也不保证保留所有能力。arXiv
知识蒸馏(Distillation)
知识蒸馏是让学生模型在训练时学习教师模型提供的输出、概率分布或其他监督信号,从而把教师的部分行为能力迁移到学生模型的方法。
边界
蒸馏成立的关键是教师提供训练信号,学生通过优化自身参数去逼近这些信号。学生不需要复制教师的参数或网络结构,也不要求大小完全相同;蒸馏后的模型是否更小、更快,取决于学生模型设计和训练目标。
蒸馏也不保证教师的所有能力都被保留。训练数据覆盖范围、蒸馏目标、学生容量和优化过程都会影响迁移结果,教师本身的错误也可能被学生学到。

与相邻方法的区别
| 方法 | 核心做法 | 是否依赖教师模型 |
|---|---|---|
| 知识蒸馏 | 用教师输出或相关信号训练学生 | 是 |
| 微调 | 用任务数据继续更新目标模型参数 | 不一定 |
| 量化 | 用更低精度表示权重或激活以降低计算与存储成本 | 否 |
蒸馏关注的是训练阶段的知识迁移关系;微调关注如何继续训练一个目标模型;量化主要改变数值表示。它们可以组合使用,但不是同一概念。
最小例子
假设教师模型面对某个输入时,不只给出“类别 A”这一硬标签,还给出 A、B、C 三个类别的相对概率。学生同时学习正确标签和这组分布,就能获得比单一硬标签更多的教师行为信息。
常见误解是把蒸馏理解成“复制教师参数”或“把教师完整压缩进学生”。实际迁移的是训练信号所表达的行为信息,能保留多少能力需要单独评估。
准备数据并判断训练状态
分别用于学习参数、选择方案和进行最终独立评估的数据划分;用于避免评估失真,反复依据测试结果调参会削弱测试集的独立性。Google for Developers
训练集、验证集与测试集
训练集用于学习模型参数,验证集用于选择超参数、检查点或方案,测试集用于在决策基本完成后进行独立评估;三者的职责分开,才能降低把调参结果误当成真实泛化能力的风险。
边界
“训练、验证、测试”描述的是数据在建模流程中的角色,不是固定的文件格式或固定比例。验证集可以在开发阶段被反复查看,因此也可能被间接过拟合;测试集应尽量保持独立,避免根据测试结果继续调参或挑选模型。
划分方式还要服从数据结构。时间序列、同一用户的多条样本、同源文档或重复样本如果被随意随机拆分,可能造成信息泄漏,使验证或测试指标虚高。
三种数据的区别
| 数据划分 | 主要用途 | 是否用于更新模型参数 | 是否适合反复据此做模型选择 |
|---|---|---|---|
| 训练集 | 拟合模型参数 | 是 | 是,训练过程本身会反复使用 |
| 验证集 | 选择超参数、检查点、阈值或方案 | 通常否 | 是,但反复选择也可能过拟合验证集 |
| 测试集 | 最终独立评估 | 否 | 否;反复依据其结果调参会削弱独立性 |
最小例子
下面只是角色示意,不代表推荐比例:
总样本:100000
训练集:80000 -> 拟合模型参数
验证集:10000 -> 选择超参数或检查点
测试集:10000 -> 最终独立评估如果开发者先在验证集上比较方案 A、B、C,再选定方案后查看测试集,这符合三种数据的职责分工;如果看完测试集结果又继续修改超参数,测试集就开始参与模型选择。
常见误解是认为“没有把测试样本放进梯度更新”就一定没有泄漏。只要测试结果被用于反复决策,测试集的独立评估价值就会下降。
由模型或程序生成、用于补充训练或评估的数据;适合理解样本扩展方案,但数量增长不能替代质量过滤,也可能复制生成器的偏差。arXiv
合成数据(Synthetic Data)
合成数据是由模型、规则、模拟器或程序生成,而不是直接从真实世界采集的数据,可用于补充训练集、构造特定场景或建立受控评估样本。
边界
“合成”描述的是数据的产生方式,不等于数据一定虚假、低质量或无需人工检查。文本可以由大模型生成,标签可以由规则或教师模型产生,图像也可以由渲染器生成;只要样本并非直接来自目标真实分布的原始采集,就可能属于合成数据。
合成数据能扩大覆盖范围,但新增数量不能自动带来有效信息。生成器可能重复训练数据中的模式、放大偏差、产生错误标签,或生成大量高度相似的样本,因此通常仍需要去重、质量过滤和针对目标任务的验证。
与相邻概念的区别
| 概念 | 核心区别 |
|---|---|
| 合成数据 | 新样本主要由模型、规则或模拟过程生成 |
| 真实数据 | 样本直接来自实际用户、设备、业务过程或人工采集 |
| 数据增强 | 通常从已有真实样本出发,通过裁剪、改写、扰动等方式产生变体 |
| 伪标签 | 重点在于由模型为已有未标注样本生成标签,原始输入本身未必是合成的 |
数据增强与合成数据存在交叉。例如把真实问题改写成多个版本可以视为增强;完全从提示词生成新的问题、答案和标签,更典型地属于合成数据。
最小例子
假设真实训练集中缺少“用户明确拒绝执行危险操作”的对话。可以定义若干风险场景和回答约束,再由生成模型产生候选对话,经过规则检查和人工抽样后加入训练集。这里新增的对话就是合成数据;如果只是把原有对话换一种措辞,则更接近数据增强。
常见误解
常见误解是认为“生成更多样本”就等于“获得更多有效数据”。如果生成器持续输出相同模式,或者错误答案被批量复制,样本规模虽然增大,训练信号却可能没有改善。判断合成数据价值时,应同时关注正确性、多样性、与目标分布的匹配程度以及是否引入系统性偏差。
批次表示一组样本,步数记录训练推进,轮次表示遍历数据的次数;用于读训练日志,开启梯度累积后必须区分微批次与参数更新步。Hugging Face
Batch、Step 与 Epoch
Batch 表示一次成组处理的样本,Step 表示训练过程中的一步推进,Epoch 表示训练数据被完整遍历约一次;阅读训练日志时必须先确认 Step 指的是微批次处理还是参数更新。
边界
Batch 的含义依上下文而定。训练代码中的 per-device batch size 通常指单个设备一次前向和反向计算处理的样本数;开启多设备训练或梯度累积后,真正对应一次参数更新的有效批量会更大。
Step 也不是所有框架都采用完全相同的计数口径。有的日志记录每个微批次,有的只在优化器执行一次参数更新后增加 global step。因此比较学习率计划、日志频率或训练进度时,应先确认具体实现的计数单位。
Epoch 通常表示数据集被遍历约一轮。数据打乱、分布式采样、丢弃最后一个不足批次以及动态数据集等设置,都可能使“一轮”不再严格等于每条样本恰好出现一次。
三者的关系
| 概念 | 回答的问题 |
|---|---|
| Batch | 一次计算处理多少样本 |
| Step | 训练状态推进了多少步 |
| Epoch | 数据集整体被遍历了多少轮 |
在单设备训练中,若每个微批次包含 个样本、每累计 个微批次才更新一次参数,则一次优化器更新对应的有效批量约为 。多设备数据并行时,还需再乘参与同步训练的设备数。
最小例子
假设数据集有 1000 个样本,单设备微批次大小为 25,并设置梯度累积 4 次。忽略最后不足批次等边界情况时,一轮训练会处理 40 个微批次,但优化器只更新 10 次;每次参数更新累计使用约 100 个样本。因此日志中的“step 10”究竟代表处理了 10 个微批次还是完成了 10 次参数更新,必须结合框架定义判断。
常见误解
常见误解是直接用 数据集大小 ÷ batch size 推断日志中的 Step 数。开启梯度累积、数据并行或特殊采样后,这个公式最多只能估算微批次数,未必等于优化器更新次数。另一个常见误区是把 Epoch 当成固定计算量;当数据源会动态变化或训练按最大步数提前结束时,Epoch 可能只是进度表达而不是严格的数据遍历计数。
将多个较短样本装入较长训练序列以减少填充浪费;用于理解训练吞吐优化,必须明确样本分隔与注意力边界,不能随意混成连续对话。Hugging Face
序列打包(Packing)
序列打包是把多个短训练样本组合到一个接近目标长度的训练序列中,以减少 padding 占用;它优化的是批次中的有效词元利用率,不意味着这些样本在语义上属于同一段连续上下文。
成立边界
Packing 只有在数据管线明确处理样本边界时才安全。通常至少要区分两个问题:样本之间用什么结束标记分隔,以及后一个样本是否允许通过注意力读取前一个样本。
仅插入 EOS 等分隔词元,并不会天然阻止跨样本注意力。若训练目标要求样本彼此独立,还需要相应的分块或块对角注意力策略;具体能力取决于训练框架、数据整理器和所用注意力实现,不能只根据“开启 packing”推断。

与 Padding 和拼接语料的区别
| 概念 | 主要目的 | 样本边界是否仍有意义 |
|---|---|---|
| Padding | 把不同长度序列补到统一长度 | 是 |
| Packing | 用多个短样本填满较长训练序列,减少 padding | 是,通常必须显式处理 |
| 连续语料拼接 | 把文本视为连续 token 流切块训练 | 原始样本边界可能不再承担训练语义 |
Packing 因而不是简单的字符串拼接。是否允许跨样本注意、是否重置位置编号以及如何生成标签,都属于具体训练实现需要核对的行为。
最小例子
假设目标序列长度为 12,三个独立样本分别占 4、3、4 个 token。分别成批时可能产生较多 padding;Packing 可以把它们组合到同一训练序列中,并保留分隔位置:
未打包:
[A A A A PAD PAD PAD PAD PAD PAD PAD PAD]
[B B B PAD PAD PAD PAD PAD PAD PAD PAD PAD]
[C C C C PAD PAD PAD PAD PAD PAD PAD PAD]
打包:
[A A A A <SEP> B B B <SEP> C C C]这里的 <SEP> 只是说明边界的占位符,实际数据可能使用 EOS 或框架定义的分隔方式。该示例只说明空间利用率;它没有证明注意力已经被隔离。
常见误解
最常见的误解是认为“样本放进同一个序列”就应当像一段连续对话一样互相可见。对于原本独立的指令、问答或文档样本,这可能造成跨样本信息泄漏或训练目标偏移。
另一个误解是把 Packing 等同于一定提升训练速度。它通常能提高有效 token 比例,但真实吞吐还受序列长度分布、注意力实现、显存、批大小和数据加载开销影响;判断收益应看有效 token 吞吐和显存利用,而不是只看是否开启该选项。
指定哪些词元位置参与训练损失计算的规则;用于理解只训练助手回答等方案,不等于注意力掩码,被排除损失的输入仍可能作为上下文。Hugging Face
损失掩码(Loss Mask)
损失掩码是决定哪些 token 位置计入训练损失的规则;被排除的位置可以继续作为模型输入和上下文,只是不直接贡献这些位置对应的预测误差。
成立边界
Loss Mask 作用于损失计算位置,而不是直接决定 token 能否参与注意力。以监督微调为例,可以让系统提示、用户问题继续出现在输入中,却只对助手回答对应的标签计算损失。
在 Hugging Face 生态的常见因果语言模型训练流程中,这种忽略通常通过把不参与损失的位置设置为损失函数的忽略标签来实现,常见值是 -100;但这属于具体模型头、数据整理器和损失函数约定,不能把 -100 当成所有框架统一定义的“Loss Mask 字段”。
与 Attention Mask 的区别
| 概念 | 控制什么 | 被屏蔽位置是否还能影响上下文计算 |
|---|---|---|
| Loss Mask | 哪些预测位置计入损失 | 可以,取决于注意力规则 |
| Attention Mask | 哪些位置可以被注意力读取或参与注意力计算 | 通常直接影响可见性 |
| Padding Mask | 通常用于避免把补齐位置当成有效上下文 | 具体由模型的注意力实现解释 |
因此,“这个 token 不训练”与“模型看不到这个 token”是两个不同判断。前者属于监督信号,后者属于信息可见性。
最小例子
下面用一段指令微调样本说明边界。输入中用户和助手文本都存在,但只把助手回答对应的位置计入损失:
Tokens: [User] 2 + 2 = ? [Assistant] 4
Loss: 0 0 0 0 0 0 1
Context: ✓ ✓ ✓ ✓ ✓ ✓ ✓这里的 0/1 是概念化的损失掩码,不代表某个库要求实际传入名为 loss_mask 的张量。实际实现也可能通过修改 labels、使用专门的数据整理器或自定义损失函数表达同一规则。
常见误解
典型误解是认为被 Loss Mask 排除的用户提示不会影响模型回答。实际上,只要注意力规则允许,这些 token 仍是生成助手回答时的重要上下文。
反过来,也不能用 Loss Mask 代替 Attention Mask:即使某些位置不计入损失,它们仍可能被后续 token 读取。判断训练行为时应分别检查输入可见性和损失参与范围,不要只看其中一个掩码。