大模型原理与训练 / 系统课时
读懂配置与权重结构
读懂配置与权重结构
拿到一个 Transformers 检查点时,先读配置再看权重,能快速判断模型究竟有多深、每层多宽、词表多大,以及权重张量为什么必须是这些形状。本篇用 BERT 检查点把 config.json、模型类和权重文件串成一条可验证的结构链路。
学习目标
- 能从配置字段推断嵌入层、编码器层数与注意力维度
- 能解释
AutoConfig、AutoModel与预训练权重之间的职责边界 - 能用权重张量形状反向验证配置是否与实际网络一致
配置、模型类与权重如何对应
一个预训练检查点可以先拆成三层理解:配置描述“要建什么网络”,模型类把配置解释成具体模块,权重文件再把训练得到的数值填入这些模块。from_pretrained() 做的正是把配置解析、类选择与权重加载连起来。

几个字段能直接约束网络形状:
| 配置字段 | 对结构的约束 |
|---|---|
vocab_size |
词嵌入矩阵的行数 |
hidden_size |
隐状态与多数线性层的主维度 |
num_hidden_layers |
Transformer Encoder Block 的重复次数 |
num_attention_heads |
多头注意力的头数 |
intermediate_size |
前馈网络中间层宽度 |
max_position_embeddings |
位置嵌入可覆盖的最大位置范围 |
以 BERT Base 为例,hidden_size=768、num_attention_heads=12,因此每个注意力头分到的维度是 64。vocab_size=30522 则意味着输入词嵌入至少需要 30522 行,每行 768 个参数。
读取配置并验证权重形状
下面的脚本先用 AutoConfig 读取配置,再用 AutoModel 加载同一检查点的基础模型,最后检查嵌入层和第一层注意力 Query 的权重形状。首次运行需要联网下载模型,并需要已安装 transformers 与 PyTorch。
from transformers import AutoConfig, AutoModel
MODEL_ID = "google-bert/bert-base-uncased"
def main():
# AutoConfig 只读取结构配置,不会把训练权重载入内存。
config = AutoConfig.from_pretrained(MODEL_ID)
print(type(config).__name__)
print(config.model_type)
print(config.vocab_size, config.hidden_size,
config.num_hidden_layers, config.num_attention_heads)
# AutoModel 根据配置选择基础模型类,并加载预训练参数。
model = AutoModel.from_pretrained(MODEL_ID)
print(type(model).__name__)
print(tuple(model.get_input_embeddings().weight.shape))
print(tuple(model.encoder.layer[0].attention.self.query.weight.shape))
if __name__ == "__main__":
main()预期输出(首次运行可能另外显示下载进度):
BertConfig
bert
30522 768 12 12
BertModel
(30522, 768)
(768, 768)第一组形状与 vocab_size × hidden_size 完全对应;第二组形状说明注意力线性映射在 768 维隐空间内工作。配置不是“说明文档”,而是创建参数槽位时真正参与构造的输入,权重形状必须能装进这些槽位。
权重文件保存的是数值而不是结构定义
模型仓库中常见 model.safetensors 或 pytorch_model.bin;大型模型还可能把权重切成多个分片,并配套索引文件。无论采用哪种保存形式,文件核心都是命名张量及其数值,真正决定应创建哪些模块的仍是配置与模型实现。
同一个配置也可能被不同 Auto 类解释成不同任务模型。例如 AutoModel 加载基础 BertModel,而 AutoModelForMaskedLM 会创建带掩码语言建模头的类。因此看到 config.json 里的架构信息时,还要同时确认调用的是哪一种模型类。
遇到不匹配先查加载路径
最容易混淆的是 AutoModel.from_config(config) 与 AutoModel.from_pretrained(...):前者只按配置创建网络,参数是新初始化的;后者才会读取检查点权重。若你手工修改了隐藏维度、词表大小或任务头尺寸,再加载旧权重,通常会出现张量尺寸不匹配。
排查时先核对模型 ID 或本地目录是否正确,再比较配置中的关键维度与报错张量形状,最后确认使用的 Auto 类是否对应当前任务。只有在明确要替换某些层并重新训练时,才应考虑忽略部分尺寸不匹配;否则,尺寸错误通常是在提醒你“配置、模型类、权重”三者没有指向同一套结构。