大模型原理与训练 / 系统课时

从 Hub 与本地加载数据集

从 Hub 与本地加载数据集

训练前最先要确认的不是模型,而是数据是否以预期的 split、字段和类型进入流水线。本节用同一套 Datasets 接口加载 Hub 数据以及本地 JSON、CSV、Parquet,并在进入 Tokenizer 前完成结构检查。

学习目标

  • 使用 load_dataset 从 Hub 和三种常见本地格式读取数据
  • 检查 DatasetDict 的 split、列名与 Features 类型
  • 识别自动类型推断和 split 映射带来的训练前风险

先分清 Dataset 与 DatasetDict

load_dataset 不指定 split 时通常返回 DatasetDict,其中每个键代表一个数据划分;传入 split="train" 时则直接返回单个 Dataset。训练代码如果默认存在 train、validation、test,加载后应立即核对,而不是等到 Trainer 启动时才发现缺少划分。

本地文件没有天然的 split 语义时,可以用 data_files 显式映射。例如 {"train": "train.csv", "validation": "valid.csv"} 会把文件归到指定划分。只传一个文件时,常见结果是只有 train。

Dataset.features 描述每一列的逻辑类型。文本通常应是字符串,分类标签可能是整数或 ClassLabel。CSV 和 JSON 会根据内容推断类型,Parquet 则更适合保留已经确定的列类型,因此加载后仍要以实际 features 为准。

用一个脚本验证四种来源

下面的脚本先生成三份等价的本地数据,再分别用 JSON、CSV、Parquet builder 加载;最后从 Hub 加载一个公开文本分类数据集。运行前需要环境中已安装 datasets 与 pyarrow,且 Hub 示例需要联网。

python
from pathlib import Path
import csv
import json
import pyarrow as pa
import pyarrow.parquet as pq
from datasets import load_dataset

rows = [
    {"text": "great movie", "label": 1},
    {"text": "bad ending", "label": 0},
]
data_dir = Path("dataset_demo")
data_dir.mkdir(exist_ok=True)

json_path = data_dir / "train.jsonl"
with json_path.open("w", encoding="utf-8") as f:
    for row in rows:
        f.write(json.dumps(row, ensure_ascii=False) + "\n")

csv_path = data_dir / "train.csv"
with csv_path.open("w", encoding="utf-8", newline="") as f:
    writer = csv.DictWriter(f, fieldnames=["text", "label"])
    writer.writeheader()
    writer.writerows(rows)

parquet_path = data_dir / "train.parquet"
pq.write_table(pa.Table.from_pylist(rows), parquet_path)

def feature_kinds(dataset):
    return {name: type(feature).__name__ for name, feature in dataset.features.items()}

for builder, path in [
    ("json", json_path),
    ("csv", csv_path),
    ("parquet", parquet_path),
]:
    ds = load_dataset(builder, data_files={"train": str(path)})
    print(
        f"{builder}: splits={list(ds.keys())}, "
        f"columns={ds['train'].column_names}, "
        f"types={feature_kinds(ds['train'])}"
    )

hub = load_dataset("cornell-movie-review-data/rotten_tomatoes")
print("hub splits:", list(hub.keys()))
print("hub types:", feature_kinds(hub["train"]))

预期输出

text
json: splits=['train'], columns=['text', 'label'], types={'text': 'Value', 'label': 'Value'}
csv: splits=['train'], columns=['text', 'label'], types={'text': 'Value', 'label': 'Value'}
parquet: splits=['train'], columns=['text', 'label'], types={'text': 'Value', 'label': 'Value'}
hub splits: ['train', 'validation', 'test']
hub types: {'text': 'Value', 'label': 'ClassLabel'}

首次访问 Hub 时还会出现下载与数据准备进度;这些日志和缓存路径会随环境不同。真正需要核对的是 split 名称、字段集合和特征类型。

进入训练前做结构验收

加载成功只代表文件能被读取,不代表数据已经满足训练要求。最少应检查三件事:训练代码引用的文本列是否存在,标签列是否是预期类型,以及各 split 是否齐全。对于多文件数据,最好显式写出 data_files 映射,避免仅依赖文件名自动推断。

如果某列被推断成错误类型,应先修正源数据或显式声明 features,而不是在训练循环里临时转换。尤其是 CSV 中混入空值、字符串标签或异常数字时,类型推断可能与预期不同。

选择格式时关注稳定性

JSONL 便于生成和逐行检查,CSV 适合简单表格,Parquet 更适合较大规模且类型明确的数据。三者都能进入同一套 Dataset API,因此格式选择应服从数据规模、类型稳定性和上下游交换方式,而不是改变后续训练代码。

Hub 数据同样需要检查 schema。公开数据集可能包含多个配置或版本,私有或受限数据集还需要相应访问权限。只要把“来源读取”和“训练所需结构”分开验证,就能在 Tokenizer 与 Trainer 之前尽早暴露数据问题。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

从 Hub 与本地加载数据集

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通