大模型原理与训练 / 系统课时

基线模型训练

基线模型训练

本课使用 TF-IDF 与逻辑回归建立文本分类基线。这个基线训练快、结果稳定,能够验证数据与评估流程是否正确,并为后续 Transformer 模型提供可比较的最低参考线。

学习目标

  • 固定数据、随机种子和超参数,建立可复现实验。
  • 训练首个文本分类基线并计算准确率与宏平均 F1。
  • 保存模型、指标和数据校验值,形成完整实验记录。

固定基线边界

基线使用 data/processed/train.csv、valid.csv 和 test.csv,每个文件至少包含 text 与 label 两列。训练阶段只读取训练集;验证集用于选择方案;测试集只在方案确定后评估一次,避免根据测试结果反复调参。

本课采用字符级 2~4 元 TF-IDF 特征,再训练带类别平衡的逻辑回归。它不是最终模型,但能快速暴露标签错误、数据泄漏、类别极不平衡和评估代码问题。

可复现基线实验流程

完成可复现训练脚本

以下脚本使用真实可用的 scikit-learn API。将代码保存为 train_baseline.py,安装 pandas、scikit-learn 和 joblib 后执行即可。

python
from hashlib import sha256
import json
from pathlib import Path
import random

import joblib
import pandas as pd
import sklearn
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import accuracy_score, f1_score
from sklearn.pipeline import Pipeline

DATA_DIR = Path("data/processed")
ARTIFACT_DIR = Path("artifacts/baseline")
RANDOM_SEED = 42

def file_sha256(path: Path) -> str:
    digest = sha256()
    with path.open("rb") as file:
        for chunk in iter(lambda: file.read(8192), b""):
            digest.update(chunk)
    return digest.hexdigest()

def load_split(name: str) -> pd.DataFrame:
    path = DATA_DIR / f"{name}.csv"
    df = pd.read_csv(path)
    required = {"text", "label"}
    missing = required - set(df.columns)
    if missing:
        raise ValueError(f"{path} 缺少字段: {sorted(missing)}")
    return df

def evaluate(model: Pipeline, df: pd.DataFrame) -> dict[str, float]:
    predictions = model.predict(df["text"])
    return {
        "accuracy": round(accuracy_score(df["label"], predictions), 6),
        "macro_f1": round(
            f1_score(df["label"], predictions, average="macro"),
            6,
        ),
    }

def main() -> None:
    random.seed(RANDOM_SEED)
    train_df = load_split("train")
    valid_df = load_split("valid")
    test_df = load_split("test")

    # 所有超参数集中写入流水线,便于完整保存与复用。
    model = Pipeline(
        steps=[
            (
                "tfidf",
                TfidfVectorizer(
                    analyzer="char",
                    ngram_range=(2, 4),
                    min_df=2,
                    max_features=50000,
                    sublinear_tf=True,
                ),
            ),
            (
                "classifier",
                LogisticRegression(
                    max_iter=1000,
                    class_weight="balanced",
                    random_state=RANDOM_SEED,
                ),
            ),
        ]
    )
    model.fit(train_df["text"], train_df["label"])

    metrics = {
        "valid": evaluate(model, valid_df),
        "test": evaluate(model, test_df),
        "seed": RANDOM_SEED,
        "train_rows": len(train_df),
        "train_sha256": file_sha256(DATA_DIR / "train.csv"),
        "sklearn_version": sklearn.__version__,
    }

    ARTIFACT_DIR.mkdir(parents=True, exist_ok=True)
    joblib.dump(model, ARTIFACT_DIR / "model.joblib")
    (ARTIFACT_DIR / "metrics.json").write_text(
        json.dumps(metrics, ensure_ascii=False, indent=2),
        encoding="utf-8",
    )

    print(json.dumps(metrics, ensure_ascii=False))

if __name__ == "__main__":
    main()

预期输出如下。指标和校验值由实际数据决定,尖括号中的内容会不同:

text
{"valid":{"accuracy":<VALID_ACCURACY>,"macro_f1":<VALID_MACRO_F1>},"test":{"accuracy":<TEST_ACCURACY>,"macro_f1":<TEST_MACRO_F1>},"seed":42,"train_rows":<TRAIN_ROWS>,"train_sha256":"<SHA256>","sklearn_version":"<VERSION>"}

执行后还应生成 artifacts/baseline/model.joblib 与 artifacts/baseline/metrics.json。前者用于复现预测,后者用于比较不同实验。

读取实验结果

比较模型时应优先查看宏平均 F1,因为它会对每个标签分别计算 F1 后再平均,不会让大类别完全主导结果。准确率仍然有价值,但在类别不平衡时不能单独作为结论。

验证集指标用于迭代特征和超参数,测试集指标只用于最终报告。若每次改参数后都查看测试集,测试集就会逐渐变成另一份验证集,最终结果不再可信。

建立基线验收规则

一个可用基线不要求指标很高,但必须满足三个条件:同一数据和环境重复运行结果一致;模型、指标与数据校验值都已保存;验证集与测试集的差距能够解释。若验证集明显高于测试集,应先检查数据分布漂移和重复样本,而不是立即扩大模型。

后续 Transformer 实验应复用相同的数据切分和评估指标。只有数据、指标和测试时机保持一致,模型之间的比较才有意义。

本课总结

  • 基线的首要作用是验证训练与评估链路,而不是追求最终效果。
  • 可复现实验需要同时记录随机种子、超参数、依赖版本和数据校验值。
  • 验证集用于迭代,测试集只在方案确定后评估一次。

下一课预告

下一课将以当前基线为参照,引入 Transformer 模型进行微调,并比较训练成本、收敛速度和分类指标的变化。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

基线模型训练

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通