大模型原理与训练 / 系统课时
从 Hub 与本地加载数据集
从 Hub 与本地加载数据集
训练前最先要确认的不是模型,而是数据是否以预期的 split、字段和类型进入流水线。本节用同一套 Datasets 接口加载 Hub 数据以及本地 JSON、CSV、Parquet,并在进入 Tokenizer 前完成结构检查。
学习目标
- 使用
load_dataset从 Hub 和三种常见本地格式读取数据 - 检查
DatasetDict的 split、列名与Features类型 - 识别自动类型推断和 split 映射带来的训练前风险
先分清 Dataset 与 DatasetDict
load_dataset 不指定 split 时通常返回 DatasetDict,其中每个键代表一个数据划分;传入 split="train" 时则直接返回单个 Dataset。训练代码如果默认存在 train、validation、test,加载后应立即核对,而不是等到 Trainer 启动时才发现缺少划分。
本地文件没有天然的 split 语义时,可以用 data_files 显式映射。例如 {"train": "train.csv", "validation": "valid.csv"} 会把文件归到指定划分。只传一个文件时,常见结果是只有 train。
Dataset.features 描述每一列的逻辑类型。文本通常应是字符串,分类标签可能是整数或 ClassLabel。CSV 和 JSON 会根据内容推断类型,Parquet 则更适合保留已经确定的列类型,因此加载后仍要以实际 features 为准。
用一个脚本验证四种来源
下面的脚本先生成三份等价的本地数据,再分别用 JSON、CSV、Parquet builder 加载;最后从 Hub 加载一个公开文本分类数据集。运行前需要环境中已安装 datasets 与 pyarrow,且 Hub 示例需要联网。
from pathlib import Path
import csv
import json
import pyarrow as pa
import pyarrow.parquet as pq
from datasets import load_dataset
rows = [
{"text": "great movie", "label": 1},
{"text": "bad ending", "label": 0},
]
data_dir = Path("dataset_demo")
data_dir.mkdir(exist_ok=True)
json_path = data_dir / "train.jsonl"
with json_path.open("w", encoding="utf-8") as f:
for row in rows:
f.write(json.dumps(row, ensure_ascii=False) + "\n")
csv_path = data_dir / "train.csv"
with csv_path.open("w", encoding="utf-8", newline="") as f:
writer = csv.DictWriter(f, fieldnames=["text", "label"])
writer.writeheader()
writer.writerows(rows)
parquet_path = data_dir / "train.parquet"
pq.write_table(pa.Table.from_pylist(rows), parquet_path)
def feature_kinds(dataset):
return {name: type(feature).__name__ for name, feature in dataset.features.items()}
for builder, path in [
("json", json_path),
("csv", csv_path),
("parquet", parquet_path),
]:
ds = load_dataset(builder, data_files={"train": str(path)})
print(
f"{builder}: splits={list(ds.keys())}, "
f"columns={ds['train'].column_names}, "
f"types={feature_kinds(ds['train'])}"
)
hub = load_dataset("cornell-movie-review-data/rotten_tomatoes")
print("hub splits:", list(hub.keys()))
print("hub types:", feature_kinds(hub["train"]))预期输出
json: splits=['train'], columns=['text', 'label'], types={'text': 'Value', 'label': 'Value'}
csv: splits=['train'], columns=['text', 'label'], types={'text': 'Value', 'label': 'Value'}
parquet: splits=['train'], columns=['text', 'label'], types={'text': 'Value', 'label': 'Value'}
hub splits: ['train', 'validation', 'test']
hub types: {'text': 'Value', 'label': 'ClassLabel'}首次访问 Hub 时还会出现下载与数据准备进度;这些日志和缓存路径会随环境不同。真正需要核对的是 split 名称、字段集合和特征类型。
进入训练前做结构验收
加载成功只代表文件能被读取,不代表数据已经满足训练要求。最少应检查三件事:训练代码引用的文本列是否存在,标签列是否是预期类型,以及各 split 是否齐全。对于多文件数据,最好显式写出 data_files 映射,避免仅依赖文件名自动推断。
如果某列被推断成错误类型,应先修正源数据或显式声明 features,而不是在训练循环里临时转换。尤其是 CSV 中混入空值、字符串标签或异常数字时,类型推断可能与预期不同。
选择格式时关注稳定性
JSONL 便于生成和逐行检查,CSV 适合简单表格,Parquet 更适合较大规模且类型明确的数据。三者都能进入同一套 Dataset API,因此格式选择应服从数据规模、类型稳定性和上下游交换方式,而不是改变后续训练代码。
Hub 数据同样需要检查 schema。公开数据集可能包含多个配置或版本,私有或受限数据集还需要相应访问权限。只要把“来源读取”和“训练所需结构”分开验证,就能在 Tokenizer 与 Trainer 之前尽早暴露数据问题。