机器学习与深度学习 / 系统课时
创建课程项目结构
创建课程项目结构
本课将从空目录创建一个可运行的 PyTorch 项目,把数据、模型、训练入口、配置、日志和训练产物分开管理,并通过一次最小训练验证目录职责。
学习目标
- 建立职责清晰、可继续扩展的 PyTorch 项目目录
- 理解配置、源码、日志与模型产物为什么要分离
- 能运行训练入口并检查日志和检查点文件
先确定最小目录职责
课程项目不需要一开始就设计成大型框架,但应避免把数据读取、模型定义、训练逻辑和输出文件全部塞进一个脚本。下面的结构已覆盖学习和小型实验的基本需求。
pytorch-course/
├── config/
│ └── train.json
├── data/
│ ├── processed/
│ └── raw/
├── logs/
├── outputs/
├── src/
│ ├── __init__.py
│ ├── model.py
│ └── train.py
├── tests/
└── README.mddata/raw 保存原始数据,data/processed 保存处理后的数据;src 只放程序代码;config 保存可调整参数;logs 记录运行信息;outputs 保存模型检查点、指标或预测结果。
一次性创建可运行项目
下面的跨平台 Python 脚本会创建目录和最小训练代码。将其保存为 bootstrap_project.py,并在已安装 PyTorch 的虚拟环境中运行。
from pathlib import Path
ROOT = Path("pytorch-course")
# 集中声明要生成的文件,便于重复创建一致的项目骨架。
FILES = {
"config/train.json": (
'{"input_dim": 4, "output_dim": 2, "learning_rate": 0.01}\n'
),
"src/__init__.py": "",
"src/model.py": '''from torch import nn
class SimpleModel(nn.Module):
def __init__(self, input_dim: int, output_dim: int) -> None:
super().__init__()
self.linear = nn.Linear(input_dim, output_dim)
def forward(self, inputs):
return self.linear(inputs)
''',
"src/train.py": '''import json
from pathlib import Path
import torch
from torch import nn
from src.model import SimpleModel
def main() -> None:
# 所有路径基于项目根目录,避免依赖启动命令所在位置。
project_root = Path(__file__).resolve().parents[1]
config_path = project_root / "config" / "train.json"
config = json.loads(config_path.read_text(encoding="utf-8"))
# 日志和训练产物写到源码目录之外。
logs_dir = project_root / "logs"
outputs_dir = project_root / "outputs"
logs_dir.mkdir(exist_ok=True)
outputs_dir.mkdir(exist_ok=True)
torch.manual_seed(42)
model = SimpleModel(config["input_dim"], config["output_dim"])
optimizer = torch.optim.SGD(
model.parameters(),
lr=config["learning_rate"],
)
loss_fn = nn.MSELoss()
# 使用固定小样本完成一次训练,验证项目各模块可以协作。
features = torch.tensor([[1.0, 2.0, 3.0, 4.0]])
targets = torch.tensor([[0.0, 1.0]])
optimizer.zero_grad()
predictions = model(features)
loss = loss_fn(predictions, targets)
loss.backward()
optimizer.step()
loss_value = f"{loss.item():.6f}"
(logs_dir / "train.log").write_text(
f"loss={loss_value}\\n",
encoding="utf-8",
)
# 检查点同时保存权重与配置,方便后续恢复实验。
torch.save(
{"model_state": model.state_dict(), "config": config},
outputs_dir / "model.pt",
)
print(f"loss: {loss_value}")
print("checkpoint: outputs/model.pt")
print("log: logs/train.log")
if __name__ == "__main__":
main()
''',
"data/raw/.gitkeep": "",
"data/processed/.gitkeep": "",
"logs/.gitkeep": "",
"outputs/.gitkeep": "",
"tests/.gitkeep": "",
"README.md": "# PyTorch Course Project\n",
}
def main() -> None:
for relative_path, content in FILES.items():
path = ROOT / relative_path
# parents=True 可一次创建 config、src 等嵌套目录。
path.parent.mkdir(parents=True, exist_ok=True)
path.write_text(content, encoding="utf-8")
print(f"project created: {ROOT}")
if __name__ == "__main__":
main()在脚本所在目录执行:
python bootstrap_project.py
cd pytorch-course
python -m src.train预期输出
project created: pytorch-course
loss: <FLOAT>
checkpoint: outputs/model.pt
log: logs/train.log<FLOAT> 是本次前向计算得到的损失值,不同 PyTorch 版本或计算设备下末尾小数可能略有差异。其余三行应保持一致。
检查生成结果
训练结束后,logs/train.log 应包含一行损失记录,outputs/model.pt 应存在且可被 torch.load 读取。配置文件中的输入维度、输出维度和学习率会同时进入模型构建与检查点内容。
项目通过 python -m src.train 运行,而不是直接执行 src/train.py。模块方式能让 from src.model import SimpleModel 按项目包解析,减少工作目录变化导致的导入错误。
扩展时保持边界清晰
后续接入真实数据时,可在 src 下增加 dataset.py,但不要把下载的大文件提交到代码仓库。日志和检查点通常也应加入 .gitignore,仅保留目录占位文件或必要的示例配置。
当训练逻辑变复杂时,再拆分 trainer.py、evaluate.py 和工具模块。目录结构应跟随职责增长,不必为了“看起来专业”预先创建大量空层级。
验收标准
一个合格的课程项目至少应满足三个条件:训练入口可从项目根目录运行;配置修改能影响训练行为;日志和模型产物写入独立目录,而不是散落在源码目录中。
若出现 ModuleNotFoundError: No module named 'src',先确认当前目录是 pytorch-course,并使用模块命令运行。若缺少 PyTorch,则应先在当前虚拟环境安装依赖,再重新执行训练入口。