大模型原理与训练 / 系统课时
整理模型卡与训练元数据
整理模型卡与训练元数据
模型交付不能只留下权重文件。本节把人能读懂的模型卡与机器可检查的训练元数据分开整理,并给出一套最小字段和校验方法,让复训、审计、部署都能追溯到同一组数据、基座、参数和评测结果。
学习目标
- 区分模型卡与训练元数据各自承担的职责
- 记录数据来源、基座模型、许可证、超参数、随机种子和环境版本
- 用脚本检查关键元数据是否缺失,并明确模型限制与评测边界
把交付信息分成两层
模型卡面向使用者,回答“这是什么模型、适合做什么、不能做什么”;训练元数据面向工程系统,回答“这次产物怎样训练出来、能否定位到同一次实验”。两者应引用同一个模型版本,而不是各写一份互不对应的说明。
| 信息 | 模型卡 | 训练元数据 |
|---|---|---|
| 基座模型与许可证 | 必须 | 必须 |
| 训练数据概述与来源 | 必须 | 必须,最好含版本或快照 ID |
| 超参数、随机种子 | 可摘要 | 必须 |
| 环境与代码版本 | 可省略细节 | 必须 |
| 评测结果 | 必须解释指标和数据集 | 必须保存机器可读值 |
| 已知限制与风险 | 必须 | 可保存结构化标签 |
如果交付的是 LoRA/QLoRA Adapter,还要明确它依赖哪个基座模型、使用哪种 PEFT 配置,以及产物是 Adapter、合并权重还是两者都提供。否则部署方即使拿到文件,也可能无法还原正确的推理组合。
写出最小模型卡
下面是一份可直接改写的 README.md 骨架。它不是训练日志的替代品,而是对产物用途、来源和边界的人工可读说明。
# <MODEL_NAME>
## 基本信息
- 基座模型:<BASE_MODEL_ID>
- 产物类型:LoRA Adapter
- 训练数据:<DATASET_NAME_OR_URI>
- 许可证:<LICENSE>
- 训练代码版本:<GIT_COMMIT>
## 训练与评测
- 随机种子:42
- 主要超参数:learning_rate=2e-4, epochs=3
- 评测数据:<EVAL_DATASET>
- 评测指标:<METRIC_NAME>=<METRIC_VALUE>
## 已知限制
- 未覆盖:<OUT_OF_SCOPE_DOMAIN>
- 不保证:<UNVERIFIED_CAPABILITY>
- 部署前仍需执行目标场景安全与质量评测。<BASE_MODEL_ID>、<GIT_COMMIT> 等值必须替换为真实记录。许可证字段不能凭经验填写,应同时检查基座模型、训练数据和新增代码或资产的许可条件,避免模型卡写了一个与实际交付不一致的许可证结论。
保存机器可读训练元数据
建议为每个可发布产物保存一份结构化元数据,例如 training_metadata.json。下面的字段覆盖复训和审计最常用的追踪点。
{
"artifact_type": "lora_adapter",
"base_model": "<BASE_MODEL_ID>",
"base_model_revision": "<ID>",
"license": "<LICENSE>",
"dataset": {
"source": "<DATASET_URI>",
"revision": "<ID>"
},
"code": {
"git_commit": "<ID>"
},
"training": {
"seed": 42,
"learning_rate": 0.0002,
"epochs": 3,
"per_device_train_batch_size": 2,
"gradient_accumulation_steps": 8
},
"environment": {
"torch": "<VERSION>",
"transformers": "<VERSION>",
"peft": "<VERSION>",
"cuda": "<VERSION>"
},
"evaluation": {
"dataset": "<EVAL_DATASET>",
"metric": "<METRIC_NAME>",
"value": "<METRIC_VALUE>"
},
"limitations": [
"<KNOWN_LIMITATION>"
]
}随机种子只说明随机源配置,不等于在不同 GPU、CUDA、算子实现和依赖版本之间保证逐位复现。因此环境版本、代码提交、数据版本与基座 revision 应与 seed 一起保存。
校验关键字段
将上面的 JSON 保存为 training_metadata.json,然后在同一目录运行下面的完整命令。它会检查顶层关键字段、数据版本和随机种子是否存在。
python - <<'PY'
import json
from pathlib import Path
path = Path("training_metadata.json")
data = json.loads(path.read_text(encoding="utf-8"))
required = [
"artifact_type", "base_model", "base_model_revision", "license",
"dataset", "code", "training", "environment", "evaluation", "limitations"
]
missing = [key for key in required if key not in data]
if missing:
raise SystemExit(f"missing required fields: {', '.join(missing)}")
for key in ("source", "revision"):
if key not in data["dataset"]:
raise SystemExit(f"missing dataset.{key}")
if "seed" not in data["training"]:
raise SystemExit("missing training.seed")
print(f"metadata ok: seed={data['training']['seed']}, base_model={data['base_model']}")
PY预期输出:
metadata ok: seed=42, base_model=<BASE_MODEL_ID>示例中的 <BASE_MODEL_ID>、<ID>、<VERSION> 等必须替换为实际值,因此真实输出也会随记录变化。通过结构校验后,还应人工核对模型卡中的基座、许可证、数据版本和评测指标是否与 JSON 一致。
让评测结果可解释
只保存一个分数不足以支撑审计。至少要同时记录评测数据集名称或版本、指标定义、推理配置以及是否使用了量化、合并权重或特定解码参数。指标发生变化时,才能判断是模型本身、评测集还是推理配置改变。
模型卡中的“已知限制”也应写成可执行边界,例如“未在法律问答数据上评测”,而不是“可能存在风险”这类空泛描述。最终交付应做到:人能从模型卡判断是否该用,工程系统能从元数据定位这次训练,复训人员能找到相同的代码、数据、基座和关键参数。