机器学习与深度学习 / 系统课时

创建课程项目结构

创建课程项目结构

本课将从空目录创建一个可运行的 PyTorch 项目,把数据、模型、训练入口、配置、日志和训练产物分开管理,并通过一次最小训练验证目录职责。

学习目标

  • 建立职责清晰、可继续扩展的 PyTorch 项目目录
  • 理解配置、源码、日志与模型产物为什么要分离
  • 能运行训练入口并检查日志和检查点文件

先确定最小目录职责

课程项目不需要一开始就设计成大型框架,但应避免把数据读取、模型定义、训练逻辑和输出文件全部塞进一个脚本。下面的结构已覆盖学习和小型实验的基本需求。

text
pytorch-course/
├── config/
│   └── train.json
├── data/
│   ├── processed/
│   └── raw/
├── logs/
├── outputs/
├── src/
│   ├── __init__.py
│   ├── model.py
│   └── train.py
├── tests/
└── README.md

data/raw 保存原始数据,data/processed 保存处理后的数据;src 只放程序代码;config 保存可调整参数;logs 记录运行信息;outputs 保存模型检查点、指标或预测结果。

一次性创建可运行项目

下面的跨平台 Python 脚本会创建目录和最小训练代码。将其保存为 bootstrap_project.py,并在已安装 PyTorch 的虚拟环境中运行。

python
from pathlib import Path

ROOT = Path("pytorch-course")

# 集中声明要生成的文件,便于重复创建一致的项目骨架。
FILES = {
    "config/train.json": (
        '{"input_dim": 4, "output_dim": 2, "learning_rate": 0.01}\n'
    ),
    "src/__init__.py": "",
    "src/model.py": '''from torch import nn

class SimpleModel(nn.Module):
    def __init__(self, input_dim: int, output_dim: int) -> None:
        super().__init__()
        self.linear = nn.Linear(input_dim, output_dim)

    def forward(self, inputs):
        return self.linear(inputs)
''',
    "src/train.py": '''import json
from pathlib import Path

import torch
from torch import nn

from src.model import SimpleModel

def main() -> None:
    # 所有路径基于项目根目录,避免依赖启动命令所在位置。
    project_root = Path(__file__).resolve().parents[1]
    config_path = project_root / "config" / "train.json"
    config = json.loads(config_path.read_text(encoding="utf-8"))

    # 日志和训练产物写到源码目录之外。
    logs_dir = project_root / "logs"
    outputs_dir = project_root / "outputs"
    logs_dir.mkdir(exist_ok=True)
    outputs_dir.mkdir(exist_ok=True)

    torch.manual_seed(42)
    model = SimpleModel(config["input_dim"], config["output_dim"])
    optimizer = torch.optim.SGD(
        model.parameters(),
        lr=config["learning_rate"],
    )
    loss_fn = nn.MSELoss()

    # 使用固定小样本完成一次训练,验证项目各模块可以协作。
    features = torch.tensor([[1.0, 2.0, 3.0, 4.0]])
    targets = torch.tensor([[0.0, 1.0]])

    optimizer.zero_grad()
    predictions = model(features)
    loss = loss_fn(predictions, targets)
    loss.backward()
    optimizer.step()

    loss_value = f"{loss.item():.6f}"
    (logs_dir / "train.log").write_text(
        f"loss={loss_value}\\n",
        encoding="utf-8",
    )
    # 检查点同时保存权重与配置,方便后续恢复实验。
    torch.save(
        {"model_state": model.state_dict(), "config": config},
        outputs_dir / "model.pt",
    )

    print(f"loss: {loss_value}")
    print("checkpoint: outputs/model.pt")
    print("log: logs/train.log")

if __name__ == "__main__":
    main()
''',
    "data/raw/.gitkeep": "",
    "data/processed/.gitkeep": "",
    "logs/.gitkeep": "",
    "outputs/.gitkeep": "",
    "tests/.gitkeep": "",
    "README.md": "# PyTorch Course Project\n",
}

def main() -> None:
    for relative_path, content in FILES.items():
        path = ROOT / relative_path
        # parents=True 可一次创建 config、src 等嵌套目录。
        path.parent.mkdir(parents=True, exist_ok=True)
        path.write_text(content, encoding="utf-8")

    print(f"project created: {ROOT}")

if __name__ == "__main__":
    main()

在脚本所在目录执行:

bash
python bootstrap_project.py
cd pytorch-course
python -m src.train

预期输出

text
project created: pytorch-course
loss: <FLOAT>
checkpoint: outputs/model.pt
log: logs/train.log

<FLOAT> 是本次前向计算得到的损失值,不同 PyTorch 版本或计算设备下末尾小数可能略有差异。其余三行应保持一致。

检查生成结果

训练结束后,logs/train.log 应包含一行损失记录,outputs/model.pt 应存在且可被 torch.load 读取。配置文件中的输入维度、输出维度和学习率会同时进入模型构建与检查点内容。

项目通过 python -m src.train 运行,而不是直接执行 src/train.py。模块方式能让 from src.model import SimpleModel 按项目包解析,减少工作目录变化导致的导入错误。

扩展时保持边界清晰

后续接入真实数据时,可在 src 下增加 dataset.py,但不要把下载的大文件提交到代码仓库。日志和检查点通常也应加入 .gitignore,仅保留目录占位文件或必要的示例配置。

当训练逻辑变复杂时,再拆分 trainer.py、evaluate.py 和工具模块。目录结构应跟随职责增长,不必为了“看起来专业”预先创建大量空层级。

验收标准

一个合格的课程项目至少应满足三个条件:训练入口可从项目根目录运行;配置修改能影响训练行为;日志和模型产物写入独立目录,而不是散落在源码目录中。

若出现 ModuleNotFoundError: No module named 'src',先确认当前目录是 pytorch-course,并使用模块命令运行。若缺少 PyTorch,则应先在当前虚拟环境安装依赖,再重新执行训练入口。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

创建课程项目结构

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通