SYSTEMATIC LEARNING / 大模型原理与训练
nanoGPT 从零实现 GPT:训练到生成
直接调用大模型 API 很难解释注意力、损失与训练稳定性为何这样工作。课程沿 nanoGPT 的极简路线,从数据编码、自注意力和 Transformer Block 开始亲手组装 GPT,再补齐训练循环、混合精度、多卡训练、检查点、GPT-2 权重加载与采样,最终能独立训练、评估和排查一个小型语言模型。
7 个章节42 个课时图文学习
开始第一课 课程大纲
先看完整路径,再按章节逐步学习。