大模型原理与训练 / 系统课时

准备因果语言模型训练样本

准备因果语言模型训练样本

因果语言模型微调不只是拼接文本,还要正确构造 input_ids、attention_mask 与 labels。本节让模型读取完整提示,只对回答 token 计算损失,并保留原生 chat template。

学习目标

  • 把指令、上下文与回答组织成符合模型 chat template 的单条训练序列
  • 用 -100 屏蔽不参与损失的 prompt token,只监督回答区域
  • 处理特殊 token、padding 与截断时不破坏 labels 的监督边界

先划清监督边界

因果语言模型训练时会根据前文预测下一个 token。对于指令微调,可以让完整 prompt 都进入 input_ids,从而成为回答的条件,但把 prompt 对应的 labels 设为 -100;交叉熵会忽略这些位置。回答区域的 labels 则保留真实 token id,因此模型只因回答预测是否正确而产生损失。

本节采用“answer-only loss”:用户角色控制 token、指令、上下文以及 assistant 起始标记都不参与损失,回答正文与结束标记参与损失。若你的训练目标是让模型同时学习整段对话文本,也可以选择 full loss,但必须把它当成明确的训练策略,而不是无意中把 prompt 也纳入监督。

因果语言模型样本与 labels 掩码

把一条指令样本编码成训练字段

不要手写模型的 <|user|>、<|assistant|> 等控制 token;不同模型的模板并不相同。下面使用 tokenizer 自带的 chat template。先把“仅用户消息 + assistant 生成起点”编码成 prompt,再编码“用户消息 + 完整回答”,由两者的公共前缀确定监督边界。

python
from transformers import AutoTokenizer

MODEL_ID = "Qwen/Qwen2.5-0.5B-Instruct"
tokenizer = AutoTokenizer.from_pretrained(MODEL_ID)

instruction = "根据上下文回答问题:法国的首都是哪里?"
context = "法国位于欧洲,首都是巴黎。"
answer = "巴黎。"

user_text = f"指令:{instruction}\n上下文:{context}"
prompt_messages = [{"role": "user", "content": user_text}]
full_messages = [
    *prompt_messages,
    {"role": "assistant", "content": answer},
]

# prompt_ids 包含 assistant 起始控制 token,但不含回答正文。
prompt_ids = tokenizer.apply_chat_template(
    prompt_messages,
    tokenize=True,
    add_generation_prompt=True,
    return_dict=False,
)
input_ids = tokenizer.apply_chat_template(
    full_messages,
    tokenize=True,
    add_generation_prompt=False,
    return_dict=False,
)

# 只有确认 prompt 是完整序列前缀,才能按长度安全地切出回答区域。
if input_ids[: len(prompt_ids)] != prompt_ids:
    raise ValueError("当前 chat template 不能用前缀长度确定回答边界")

labels = [-100] * len(prompt_ids) + input_ids[len(prompt_ids) :]
attention_mask = [1] * len(input_ids)

# 解码监督区域,验证真正参与损失的是回答而不是用户提示。
supervised_ids = [
    token_id
    for token_id, label in zip(input_ids, labels)
    if label != -100
]
print("长度一致:", len(input_ids) == len(labels) == len(attention_mask))
print("提示区已屏蔽:", all(label == -100 for label in labels[: len(prompt_ids)]))
print(
    "参与损失的文本:",
    tokenizer.decode(supervised_ids, skip_special_tokens=True).strip(),
)

预期输出

text
长度一致: True
提示区已屏蔽: True
参与损失的文本: 巴黎。

训练数据集中保存的核心字段就是这三组等长序列。模型前向时仍能看到完整的指令和上下文;-100 只改变 loss 计算,并不会把这些 token 从输入中删除。因果语言模型内部还会做 next-token shift,因此不需要手工把 labels 再右移一位。

批处理时同时处理 padding

单条样本里 attention_mask 全为 1,但组成 batch 后通常要补齐到相同长度。padding 位置应同时满足两件事:attention_mask=0,避免模型把补齐位置当成有效上下文;labels=-100,避免 padding token 产生训练损失。

如果模型没有独立的 pad_token,有些训练配置会把 eos_token 复用为 padding token。此时更不能通过“token id 是否等于 EOS”判断哪些位置应忽略,因为真实回答结尾的 EOS 需要被保留。应以 padding 过程产生的长度或 mask 为依据,把新增 padding 对应的 labels 明确填成 -100。

截断和多轮样本的边界

最危险的做法是分别 tokenize 指令、上下文和回答后直接拼接,因为 BPE 边界、BOS/EOS 与 chat 控制 token 都可能被重复或遗漏。优先让 apply_chat_template 一次生成完整序列,并像示例一样验证监督边界。

长度超限时也不要简单从右侧截断完整序列,否则最先被切掉的往往正是回答。更稳妥的策略是先限制或截短上下文,再重新套用 chat template,确保回答和结束 token 被保留。

对于多轮对话,单一“prompt 长度”只能表达最后一轮回答的边界。如果模型的 chat template 支持 assistant token mask,可使用 return_assistant_tokens_mask=True 得到各 assistant 区域的位置,再据此生成 labels;若模板不支持,则应显式解析每个 assistant span,而不是假定所有非用户 token 都该参与损失。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

准备因果语言模型训练样本

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通