大模型原理与训练 / 系统课时

运行全参数监督微调任务

运行全参数监督微调任务

这一节把数据、训练参数、监控指标和检查点保存放进同一条可复现实验链路。你会用统一训练集与验证集启动全参数 SFT,并同时观察 loss、梯度范数、学习率、吞吐和峰值显存,确保后续检查点可以直接比较。

学习目标

  • 启动真正更新全部模型参数的监督微调任务
  • 用同一组日志指标判断训练是否稳定并识别异常趋势
  • 按固定步数保存检查点,并用统一验证集比较不同阶段

固定实验口径

全参数训练最怕“参数变了、评测也变了”。在启动任务前先固定模型版本、训练/验证数据、最大序列长度、随机种子和验证频率。训练数据可使用 JSONL,每行至少包含 prompt 与 response 两个字段;验证集必须与训练集分离,并在整次实验中保持不变。

这里的主示例假设基础模型位于 <PATH>/base-model,数据位于 <PATH>/train.jsonl 与 <PATH>/validation.jsonl。脚本会让所有参数参与梯度更新,并按 100 步保存一次检查点。

启动全参数 SFT

下面脚本使用 transformers.Trainer 完成标准因果语言模型 SFT。示例默认使用支持 BF16 的 GPU;如果硬件不支持 BF16,需要改用适合本机的精度设置。

python
import os
import torch
from datasets import load_dataset
from transformers import (
    AutoModelForCausalLM,
    AutoTokenizer,
    DataCollatorForLanguageModeling,
    Trainer,
    TrainingArguments,
)

MODEL_PATH = "<PATH>/base-model"
TRAIN_FILE = "<PATH>/train.jsonl"
VALID_FILE = "<PATH>/validation.jsonl"
OUTPUT_DIR = "<PATH>/full-sft"

tokenizer = AutoTokenizer.from_pretrained(MODEL_PATH, use_fast=True)
if tokenizer.pad_token is None:
    tokenizer.pad_token = tokenizer.eos_token

dataset = load_dataset(
    "json",
    data_files={"train": TRAIN_FILE, "validation": VALID_FILE},
)

def tokenize(batch):
    texts = [
        f"User: {p}\nAssistant: {r}{tokenizer.eos_token}"
        for p, r in zip(batch["prompt"], batch["response"])
    ]
    return tokenizer(
        texts,
        truncation=True,
        max_length=2048,
        padding=False,
    )

tokenized = dataset.map(
    tokenize,
    batched=True,
    remove_columns=dataset["train"].column_names,
)

model = AutoModelForCausalLM.from_pretrained(
    MODEL_PATH,
    torch_dtype=torch.bfloat16,
)
model.config.use_cache = False

trainable = sum(p.numel() for p in model.parameters() if p.requires_grad)
total = sum(p.numel() for p in model.parameters())
assert trainable == total, "存在被冻结的参数,当前不是全参数微调"

args = TrainingArguments(
    output_dir=OUTPUT_DIR,
    num_train_epochs=2,
    per_device_train_batch_size=1,
    per_device_eval_batch_size=1,
    gradient_accumulation_steps=16,
    learning_rate=1e-5,
    warmup_ratio=0.03,
    lr_scheduler_type="cosine",
    logging_steps=10,
    eval_strategy="steps",
    eval_steps=100,
    save_strategy="steps",
    save_steps=100,
    save_total_limit=3,
    max_grad_norm=1.0,
    bf16=True,
    gradient_checkpointing=True,
    report_to="none",
    seed=42,
)

trainer = Trainer(
    model=model,
    args=args,
    train_dataset=tokenized["train"],
    eval_dataset=tokenized["validation"],
    data_collator=DataCollatorForLanguageModeling(tokenizer, mlm=False),
)

train_result = trainer.train()
metrics = train_result.metrics
metrics["peak_gpu_memory_gb"] = round(
    torch.cuda.max_memory_allocated() / 1024**3, 2
)
trainer.log_metrics("train", metrics)
trainer.save_metrics("train", metrics)

预期输出

text
{'loss': <LOSS>, 'grad_norm': <GRAD_NORM>, 'learning_rate': <LR>, 'epoch': <EPOCH>}
...
***** train metrics *****
  train_loss               = <LOSS>
  train_samples_per_second = <THROUGHPUT>
  peak_gpu_memory_gb       = <GB>

<LOSS>、<GRAD_NORM>、<LR>、<EPOCH>、<THROUGHPUT> 与 <GB> 会随模型、数据和硬件变化。真正需要关注的是趋势:loss 应总体下降;梯度范数不应长期爆高或出现非有限值;学习率要符合预设调度;吞吐不应突然塌陷;峰值显存必须留出足够余量。

全参数 SFT 训练监控与检查点链路

比较固定步数检查点

保存频率只有在验证口径固定时才有意义。每到一个保存步数,都用同一验证集观察 eval_loss,并同时保留对应的训练日志。不要只挑训练 loss 最低的检查点,因为训练 loss 继续下降时,验证集表现可能已经开始恶化。

可以直接检查输出目录确认检查点是否按预期产生:

bash
ls -1 <PATH>/full-sft | grep '^checkpoint-'

预期输出

text
checkpoint-<STEP>
...

<STEP> 的实际值取决于训练总步数;由于 save_total_limit=3,目录中最多保留三个检查点。如果应保存的步数没有对应目录,先检查 save_strategy、save_steps 和训练是否真正运行到该 step,再讨论模型效果。

发现不稳定时先看哪一项

loss 变成 nan 或突然飙升时,先看梯度范数,再检查学习率是否过高、混合精度是否溢出以及样本中是否存在异常长序列。吞吐持续下降但显存不断上升,则要检查动态长度分布、缓存和数据预处理;显存直接溢出时,应优先减小单卡 batch、启用梯度检查点或缩短序列,而不是随意改变评测口径。

一次可比较的全参数 SFT,不只是“训练能跑完”,而是训练参数、数据切分、日志频率、验证频率和检查点节奏都被固定下来。这样后续选择某个 checkpoint 时,依据来自同一套指标,而不是训练末尾的一次偶然结果。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

运行全参数监督微调任务

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通