机器学习与深度学习 / 系统课时
创建 Dataset 数据集
创建 Dataset 数据集
这一课解决“原始数据怎样进入 tf.data”的问题。你会分别从内存数组、Python 生成器和文本文件创建 Dataset,并用 element_spec 与实际迭代结果检查元素的形状、类型和结构,避免数据源一换就出现签名不匹配。
学习目标
- 用
from_tensor_slices把数组或张量按第 0 维切成样本。 - 用
from_generator配合output_signature接入流式 Python 数据。 - 根据文件格式选择
TextLineDataset、TFRecordDataset或文件名数据集,并验证读取结果。
从数组按样本切片
tf.data.Dataset.from_tensor_slices 会沿输入各组件的第 0 维同步切片。特征形状为 (3, 2)、标签形状为 (3,) 时,得到 3 个元素;每个元素是一个长度为 2 的特征张量和一个标量标签。各组件第 0 维长度必须一致。
import numpy as np
import tensorflow as tf
features = np.array([[1, 2], [3, 4], [5, 6]], dtype=np.float32)
labels = np.array([0, 1, 0], dtype=np.int32)
dataset = tf.data.Dataset.from_tensor_slices((features, labels))
print(dataset.element_spec)
for x, y in dataset:
print(x.numpy().tolist(), int(y.numpy()))预期输出
(TensorSpec(shape=(2,), dtype=tf.float32, name=None), TensorSpec(shape=(), dtype=tf.int32, name=None))
[1.0, 2.0] 0
[3.0, 4.0] 1
[5.0, 6.0] 0如果你把一个完整的 (3, 2) 数组直接作为单个元素,而不是切成 3 个样本,应改用 tf.data.Dataset.from_tensors(features)。这两个 API 的区别可以用元素数量检查:前者有 3 个元素,后者只有 1 个元素。
从生成器接入流式数据
当数据来自逐条读取、在线模拟或无法一次装入内存的 Python 逻辑时,可以使用 from_generator。TensorFlow 2.x 推荐通过 output_signature 明确每个组件的 shape 与 dtype;旧的 output_types 和 output_shapes 参数已被标记为弃用方向。
import numpy as np
import tensorflow as tf
def sample_stream():
for i in range(3):
x = np.array([i, i + 0.5], dtype=np.float32)
y = np.int32(i % 2)
yield x, y
dataset = tf.data.Dataset.from_generator(
sample_stream,
output_signature=(
tf.TensorSpec(shape=(2,), dtype=tf.float32),
tf.TensorSpec(shape=(), dtype=tf.int32),
),
)
for x, y in dataset:
print(x.numpy().tolist(), int(y.numpy()))预期输出
[0.0, 0.5] 0
[1.0, 1.5] 1
[2.0, 2.5] 0生成器必须是“可调用对象”,调用后返回可迭代对象;不要把已经创建好的生成器实例直接传进去。生产管线还要注意:from_generator 依赖 Python 进程,生成器函数本身不会序列化进 GraphDef,因此能用原生 tf.data 操作表达时,优先使用原生操作。
从文件构造数据集
文本逐行读取可直接使用 tf.data.TextLineDataset。下面的示例先创建临时文件,再读取两行内容,因此不依赖外部路径,复制即可运行。TextLineDataset 的每个元素类型是 tf.string,迭代到 NumPy 后表现为字节串。
from pathlib import Path
import tempfile
import tensorflow as tf
with tempfile.TemporaryDirectory() as tmp_dir:
path = Path(tmp_dir) / "samples.txt"
path.write_text("cat,0\ndog,1\n", encoding="utf-8")
dataset = tf.data.TextLineDataset(str(path))
lines = [x.decode("utf-8") for x in dataset.as_numpy_iterator()]
print(lines)预期输出
['cat,0', 'dog,1']如果文件本身是 TFRecord 格式,应使用 tf.data.TFRecordDataset;如果只是先收集一批文件名再逐个解析,可用 tf.data.Dataset.list_files("/data/*.jpg", shuffle=False)。list_files 默认会打乱文件名,调试或需要稳定顺序时显式写 shuffle=False。
用结构检查代替猜测
创建完数据集后,先检查 dataset.element_spec,再用 dataset.take(1) 查看一个真实元素。比如模型输入要求单样本形状 (224, 224, 3)、标签是标量 int32,那么数据集规范就应与这两个条件对应;若出现 (None,)、错误的 float64 或多一层批次维,应在进入模型前修正。
选择数据源时可按数据所在位置判断:已经在内存里的固定数组用 from_tensor_slices;必须依赖 Python 才能逐条产生的数据用 from_generator;可由 TensorFlow 直接读取的文件优先用专用文件数据集。这样后续的 map、batch、prefetch 都能在同一套 Dataset 接口上继续组合。