大模型原理与训练 / 系统课时

整理模型卡与训练元数据

整理模型卡与训练元数据

模型交付不能只留下权重文件。本节把人能读懂的模型卡与机器可检查的训练元数据分开整理,并给出一套最小字段和校验方法,让复训、审计、部署都能追溯到同一组数据、基座、参数和评测结果。

学习目标

  • 区分模型卡与训练元数据各自承担的职责
  • 记录数据来源、基座模型、许可证、超参数、随机种子和环境版本
  • 用脚本检查关键元数据是否缺失,并明确模型限制与评测边界

把交付信息分成两层

模型卡面向使用者,回答“这是什么模型、适合做什么、不能做什么”;训练元数据面向工程系统,回答“这次产物怎样训练出来、能否定位到同一次实验”。两者应引用同一个模型版本,而不是各写一份互不对应的说明。

信息 模型卡 训练元数据
基座模型与许可证 必须 必须
训练数据概述与来源 必须 必须,最好含版本或快照 ID
超参数、随机种子 可摘要 必须
环境与代码版本 可省略细节 必须
评测结果 必须解释指标和数据集 必须保存机器可读值
已知限制与风险 必须 可保存结构化标签

如果交付的是 LoRA/QLoRA Adapter,还要明确它依赖哪个基座模型、使用哪种 PEFT 配置,以及产物是 Adapter、合并权重还是两者都提供。否则部署方即使拿到文件,也可能无法还原正确的推理组合。

写出最小模型卡

下面是一份可直接改写的 README.md 骨架。它不是训练日志的替代品,而是对产物用途、来源和边界的人工可读说明。

markdown
# <MODEL_NAME>

## 基本信息

- 基座模型:<BASE_MODEL_ID>
- 产物类型:LoRA Adapter
- 训练数据:<DATASET_NAME_OR_URI>
- 许可证:<LICENSE>
- 训练代码版本:<GIT_COMMIT>

## 训练与评测

- 随机种子:42
- 主要超参数:learning_rate=2e-4, epochs=3
- 评测数据:<EVAL_DATASET>
- 评测指标:<METRIC_NAME>=<METRIC_VALUE>

## 已知限制

- 未覆盖:<OUT_OF_SCOPE_DOMAIN>
- 不保证:<UNVERIFIED_CAPABILITY>
- 部署前仍需执行目标场景安全与质量评测。

<BASE_MODEL_ID>、<GIT_COMMIT> 等值必须替换为真实记录。许可证字段不能凭经验填写,应同时检查基座模型、训练数据和新增代码或资产的许可条件,避免模型卡写了一个与实际交付不一致的许可证结论。

保存机器可读训练元数据

建议为每个可发布产物保存一份结构化元数据,例如 training_metadata.json。下面的字段覆盖复训和审计最常用的追踪点。

json
{
  "artifact_type": "lora_adapter",
  "base_model": "<BASE_MODEL_ID>",
  "base_model_revision": "<ID>",
  "license": "<LICENSE>",
  "dataset": {
    "source": "<DATASET_URI>",
    "revision": "<ID>"
  },
  "code": {
    "git_commit": "<ID>"
  },
  "training": {
    "seed": 42,
    "learning_rate": 0.0002,
    "epochs": 3,
    "per_device_train_batch_size": 2,
    "gradient_accumulation_steps": 8
  },
  "environment": {
    "torch": "<VERSION>",
    "transformers": "<VERSION>",
    "peft": "<VERSION>",
    "cuda": "<VERSION>"
  },
  "evaluation": {
    "dataset": "<EVAL_DATASET>",
    "metric": "<METRIC_NAME>",
    "value": "<METRIC_VALUE>"
  },
  "limitations": [
    "<KNOWN_LIMITATION>"
  ]
}

随机种子只说明随机源配置,不等于在不同 GPU、CUDA、算子实现和依赖版本之间保证逐位复现。因此环境版本、代码提交、数据版本与基座 revision 应与 seed 一起保存。

校验关键字段

将上面的 JSON 保存为 training_metadata.json,然后在同一目录运行下面的完整命令。它会检查顶层关键字段、数据版本和随机种子是否存在。

bash
python - <<'PY'
import json
from pathlib import Path

path = Path("training_metadata.json")
data = json.loads(path.read_text(encoding="utf-8"))

required = [
    "artifact_type", "base_model", "base_model_revision", "license",
    "dataset", "code", "training", "environment", "evaluation", "limitations"
]
missing = [key for key in required if key not in data]
if missing:
    raise SystemExit(f"missing required fields: {', '.join(missing)}")

for key in ("source", "revision"):
    if key not in data["dataset"]:
        raise SystemExit(f"missing dataset.{key}")
if "seed" not in data["training"]:
    raise SystemExit("missing training.seed")

print(f"metadata ok: seed={data['training']['seed']}, base_model={data['base_model']}")
PY

预期输出:

text
metadata ok: seed=42, base_model=<BASE_MODEL_ID>

示例中的 <BASE_MODEL_ID>、<ID>、<VERSION> 等必须替换为实际值,因此真实输出也会随记录变化。通过结构校验后,还应人工核对模型卡中的基座、许可证、数据版本和评测指标是否与 JSON 一致。

让评测结果可解释

只保存一个分数不足以支撑审计。至少要同时记录评测数据集名称或版本、指标定义、推理配置以及是否使用了量化、合并权重或特定解码参数。指标发生变化时,才能判断是模型本身、评测集还是推理配置改变。

模型卡中的“已知限制”也应写成可执行边界,例如“未在法律问答数据上评测”,而不是“可能存在风险”这类空泛描述。最终交付应做到:人能从模型卡判断是否该用,工程系统能从元数据定位这次训练,复训人员能找到相同的代码、数据、基座和关键参数。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

整理模型卡与训练元数据

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通