大模型原理与训练 / 系统课时

项目模块划分

项目模块划分

从零实现 Transformer 时,最先要解决的不是某一层公式,而是让配置、数据、模型、训练和推理各自承担单一职责。合理的模块边界能避免循环依赖,也让后续替换分词器、训练策略或解码方式时不必改动整个项目。

学习目标

  • 划分五个核心模块的职责与输入输出
  • 建立单向、可验证的模块依赖关系
  • 搭建能够继续扩展的最小项目骨架

模块职责与目录

五个模块应围绕稳定的数据契约协作,而不是彼此读取内部变量。配置模块提供不可变参数;数据模块产出批次张量;模型模块只负责前向计算;训练模块组织损失、反向传播和保存;推理模块加载权重并执行解码。

模块 主要职责 不应承担的职责
config 保存模型与训练参数 读取数据、执行训练
data 分词、样本构造、批处理 创建优化器
model 网络结构与前向传播 控制训练轮次
train 训练循环、评估、检查点 实现分词规则
infer 加载权重、生成与后处理 修改训练状态

Transformer 项目模块依赖图

推荐先建立以下目录。src 是 Python 包,测试目录与实现目录分离,检查点和运行日志不提交到源码包中。

text
transformer_project/
├── src/
│   ├── __init__.py
│   ├── config.py
│   ├── data.py
│   ├── model.py
│   ├── train.py
│   └── infer.py
├── tests/
└── checkpoints/

最小接口示例

片段示例:以下代码应分别保存到注释标出的文件中。它只固定模块接口与依赖方向,不包含完整 Transformer 结构。

python
# src/config.py
from dataclasses import dataclass

@dataclass(frozen=True)
class ModelConfig:
    d_model: int = 512
    num_layers: int = 6

# src/data.py
class TokenDataset:
    def __init__(self, token_ids: list[list[int]]) -> None:
        self.token_ids = token_ids

# src/model.py
from .config import ModelConfig

class TransformerModel:
    def __init__(self, config: ModelConfig) -> None:
        self.config = config

# src/train.py
from .config import ModelConfig
from .data import TokenDataset
from .model import TransformerModel

def build_training() -> dict[str, object]:
    config = ModelConfig()
    dataset = TokenDataset([[1, 2, 3]])
    model = TransformerModel(config)
    return {
        'model': type(model).__name__,
        'dataset': type(dataset).__name__,
        'layers': config.num_layers,
    }

# src/infer.py
from .config import ModelConfig
from .model import TransformerModel

def load_model() -> TransformerModel:
    return TransformerModel(ModelConfig())

依赖规则与验证

依赖应保持从基础模块流向编排模块:config 位于最底层,data 与 model 不互相调用,train 可以组合前三者,infer 只依赖配置和模型。检查点属于训练产物,应通过文件路径或明确接口交给推理模块,而不是让模型模块反向调用训练代码。

将片段拆分到对应文件并补充空的 src/__init__.py 后,在项目根目录执行以下命令。第一段检查语法,第二段验证训练编排模块能够正常导入并组合对象。

bash
python -m compileall -q src && python -c 'from src.train import build_training; print(build_training())'

预期输出如下;若出现循环导入或模块路径错误,命令会在打印结果前失败。

text
{'model': 'TransformerModel', 'dataset': 'TokenDataset', 'layers': 6}

本课总结

  • 模块划分的核心是单一职责、稳定接口和单向依赖
  • config、data、model 提供基础能力,train 与 infer 负责编排
  • 先验证导入关系和最小数据流,再逐步填充完整 Transformer 实现

下一课预告

下一课将从配置对象开始,定义模型维度、层数、注意力头数和训练超参数,并为后续模块提供统一参数来源。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

项目模块划分

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通