book

SYSTEMATIC LEARNING / 大模型原理与训练

nanoGPT 从零实现 GPT:训练到生成

直接调用大模型 API 很难解释注意力、损失与训练稳定性为何这样工作。课程沿 nanoGPT 的极简路线,从数据编码、自注意力和 Transformer Block 开始亲手组装 GPT,再补齐训练循环、混合精度、多卡训练、检查点、GPT-2 权重加载与采样,最终能独立训练、评估和排查一个小型语言模型。

7 个章节42 个课时图文学习
开始第一课

课程大纲

先看完整路径,再按章节逐步学习。

登录哪都通