大模型原理与训练 / 系统课时

开发环境与项目结构

开发环境与项目结构

本课完成 Transformer 实验环境的最小闭环:检查 Python,创建隔离环境,安装 PyTorch、Jupyter 与 Transformers,建立统一目录,并运行验证脚本。完成后,你将得到一个可直接承载后续注意力机制和模型推理代码的课程项目。

学习目标

  • 创建独立的 Python 虚拟环境并安装核心依赖
  • 建立便于复用数据、脚本、模型和实验结果的目录结构
  • 通过版本、导入和设备检查确认环境可用

前置检查与虚拟环境

建议使用 Python 3.10 或 3.11,能够兼顾多数 PyTorch 与 Transformers 版本。先在终端检查解释器和包管理器;若系统只提供 python3,将下面命令中的 python 替换为 python3。

bash
python --version
python -m pip --version
python -m venv .venv

预期结果

text
Python 3.<MINOR>.<PATCH>
pip <VERSION> from <PATH>
虚拟环境创建成功时通常没有额外输出,当前目录会出现 .venv。

激活虚拟环境后再安装依赖。macOS 与 Linux 使用 source .venv/bin/activate,Windows PowerShell 使用 .venv\Scripts\Activate.ps1。若终端提示执行策略限制,应先为当前用户放开本地脚本执行权限,而不是关闭系统安全策略。

安装核心依赖

在已激活的虚拟环境中执行以下命令。这里先安装通用版本,便于完成课程实验;需要 NVIDIA GPU 时,应根据本机驱动与 CUDA 版本改用 PyTorch 官方提供的匹配安装方式。

bash
python -m pip install --upgrade pip
python -m pip install torch transformers jupyterlab

预期结果

text
Successfully installed ... torch-<VERSION> transformers-<VERSION> jupyterlab-<VERSION> ...

实际版本号和依赖列表可能不同,只要命令正常结束且没有 ERROR 即可。安装完成后,可执行 python -m jupyter lab --version 检查 JupyterLab 是否进入当前虚拟环境。

建立项目结构并验证

在课程根目录创建统一目录。notebooks 保存交互实验,src 保存可复用模块,scripts 保存独立检查或训练脚本,data 区分原始数据与处理结果,models 和 outputs 分别保存模型文件与运行产物。

bash
python -c "from pathlib import Path; [Path(p).mkdir(parents=True, exist_ok=True) for p in ['notebooks','src','scripts','data/raw','data/processed','models','outputs']]"

预期结果

text
命令正常结束且无输出;当前目录出现 notebooks、src、scripts、data、models、outputs。

将下面脚本保存为 scripts/check_env.py,随后在项目根目录执行 python scripts/check_env.py。脚本同时检查依赖版本、CUDA 可用性和目录完整性。

python
from importlib.metadata import version
from pathlib import Path

import torch
import transformers

required_dirs = [
    'notebooks',
    'src',
    'scripts',
    'data/raw',
    'data/processed',
    'models',
    'outputs',
]
missing_dirs = [path for path in required_dirs if not Path(path).exists()]

if missing_dirs:
    raise SystemExit(f'missing directories: {missing_dirs}')

jupyterlab_version = version('jupyterlab')
print(f'torch={torch.__version__}')
print(f'transformers={transformers.__version__}')
print(f'jupyterlab={jupyterlab_version}')
print(f'cuda_available={torch.cuda.is_available()}')
print('project_structure=OK')

预期输出

text
torch=<VERSION>
transformers=<VERSION>
jupyterlab=<VERSION>
cuda_available=<TRUE_OR_FALSE>
project_structure=OK

<TRUE_OR_FALSE> 取决于本机显卡、驱动和安装包类型。CPU 环境显示 False 仍然表示配置成功;只有课程明确需要 GPU 训练时,才必须继续处理 CUDA 问题。启动实验环境可执行 python -m jupyter lab --notebook-dir notebooks,终端显示的 <PORT> 与访问令牌会因本机环境而异。

本课总结

  • 虚拟环境可以隔离课程依赖,避免污染系统 Python 或其他项目
  • 统一目录将交互实验、可复用代码、数据、模型和输出分开管理
  • 版本导入、设备状态和目录检查全部通过,才算完成环境验收

下一课预告

下一课将从张量形状和序列表示入手,为手写缩放点积注意力准备可验证的输入数据。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

开发环境与项目结构

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通