机器学习与深度学习 / 系统课时

排查数据加载瓶颈

排查数据加载瓶颈

训练时 GPU 利用率低、每个批次间隔明显或吞吐量不稳定,问题不一定在模型。本课将把数据路径拆成读取、预处理、进程间供给和主机到设备传输四段,并通过计时基准定位真正的等待点。

学习目标

  • 区分数据等待、传输和模型计算耗时
  • 评估 num_workers、pin_memory 与预取配置
  • 按证据修复磁盘、CPU 或传输瓶颈

先确认等待发生在哪里

排查的第一步不是直接增大 num_workers,而是测量一个训练步骤中各阶段的时间。若获取下一个批次耗时高,重点检查存储读取、解码和预处理;若主机到设备传输耗时高,再检查页锁定内存、批次大小和异步复制。

DataLoader 瓶颈定位链路

单看总迭代时间容易误判,因为数据加载器可能在后台预取。应先预热若干批次,再连续记录多个批次的平均值,同时固定批量大小、数据范围和模型状态,确保不同配置可以比较。

建立可重复的计时基准

下面的完整脚本分别测试单进程和双进程加载,并记录数据等待、主机到设备传输、计算耗时与吞吐量。示例数据集用短暂停顿模拟读取延迟,实际项目中应替换为真实数据集。

python
import time

import torch
from torch.utils.data import DataLoader, Dataset

class SlowDataset(Dataset):
    def __init__(self, size=4096, feature_size=256):
        self.data = torch.randn(size, feature_size)

    def __len__(self):
        return len(self.data)

    def __getitem__(self, index):
        time.sleep(0.002)  # 模拟磁盘读取或解码等待
        return torch.sin(self.data[index])

def build_loader(dataset, num_workers, pin_memory):
    options = {
        "dataset": dataset,
        "batch_size": 64,
        "shuffle": False,
        "num_workers": num_workers,
        "pin_memory": pin_memory,
    }

    # 只有多进程加载时才能启用持久 worker 和预取。
    if num_workers > 0:
        options["persistent_workers"] = True
        options["prefetch_factor"] = 2

    return DataLoader(**options)

def benchmark(loader, device, warmup_steps=3, measure_steps=20):
    iterator = iter(loader)

    for _ in range(warmup_steps):
        next(iterator)

    data_wait = 0.0
    transfer = 0.0
    compute = 0.0
    sample_count = 0

    for _ in range(measure_steps):
        start = time.perf_counter()
        batch = next(iterator)
        after_load = time.perf_counter()

        batch = batch.to(
            device,
            non_blocking=device.type == "cuda" and loader.pin_memory,
        )
        if device.type == "cuda":
            torch.cuda.synchronize()
        after_transfer = time.perf_counter()

        result = (batch * batch).mean()
        if device.type == "cuda":
            torch.cuda.synchronize()
        after_compute = time.perf_counter()

        data_wait += after_load - start
        transfer += after_transfer - after_load
        compute += after_compute - after_transfer
        sample_count += batch.size(0)

    total = data_wait + transfer + compute
    return {
        "data_wait_ms": data_wait * 1000 / measure_steps,
        "h2d_ms": transfer * 1000 / measure_steps,
        "compute_ms": compute * 1000 / measure_steps,
        "samples_per_sec": sample_count / total,
        "last_result": result.item(),
    }

def main():
    dataset = SlowDataset()
    device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
    configurations = [(0, False), (2, False)]

    if device.type == "cuda":
        configurations.append((2, True))

    print(f"device={device.type}")
    for workers, pin_memory in configurations:
        loader = build_loader(dataset, workers, pin_memory)
        metrics = benchmark(loader, device)
        print(
            f"workers={workers}, pin_memory={pin_memory}, "
            f"data_wait_ms={metrics['data_wait_ms']:.2f}, "
            f"h2d_ms={metrics['h2d_ms']:.2f}, "
            f"compute_ms={metrics['compute_ms']:.2f}, "
            f"samples_per_sec={metrics['samples_per_sec']:.1f}"
        )

if __name__ == "__main__":
    main()

预期输出

text
device=<cpu 或 cuda>
workers=0, pin_memory=False, data_wait_ms=<TIME_MS>, h2d_ms=<TIME_MS>, compute_ms=<TIME_MS>, samples_per_sec=<SAMPLES_PER_SECOND>
workers=2, pin_memory=False, data_wait_ms=<TIME_MS>, h2d_ms=<TIME_MS>, compute_ms=<TIME_MS>, samples_per_sec=<SAMPLES_PER_SECOND>
workers=2, pin_memory=True, data_wait_ms=<TIME_MS>, h2d_ms=<TIME_MS>, compute_ms=<TIME_MS>, samples_per_sec=<SAMPLES_PER_SECOND>

最后一行只会在检测到 CUDA 时出现。具体时间和吞吐量取决于 CPU、存储、PyTorch 版本及系统负载;判断依据是同一环境下不同配置的相对变化,而不是示例数值。

根据指标定位根因

若 data_wait_ms 很高且增加 worker 后明显下降,说明单进程供给不足。若增加到某个数量后不再改善,甚至变慢,通常是 CPU 争用、进程通信开销或存储带宽已经饱和。

若读取少量大文件明显快于读取大量小文件,瓶颈多半来自文件系统元数据和随机访问。可考虑合并样本、建立索引、使用顺序读取格式或把热点数据放到更快的本地存储,但应先用真实数据验证收益。

若预处理占满 CPU,应减少 Python 层循环,把可批量化的操作交给张量库,或提前缓存稳定结果。随机增强不能盲目离线化,否则会降低样本多样性。

调整进程与传输配置

num_workers 没有通用最优值,应从 0、2、4 等小范围逐步测试。多进程启动和进程间复制也有成本,数据很小或预处理很轻时,num_workers=0 可能更快、更容易调试。

CUDA 训练可组合使用 pin_memory=True 与 .to(device, non_blocking=True),让主机到设备复制具备异步执行条件。只有页锁定内存、异步参数和后续计算能够重叠时,才可能看到实际收益;单独开启某个参数并不保证加速。

persistent_workers=True 可避免每轮重新创建 worker,适合多轮训练,但会让 worker 常驻并占用资源。prefetch_factor 增大会提高预取批次数,也会增加主机内存占用,调整后必须同时观察吞吐量和内存峰值。

修复后的验证方式

修复后应在相同数据、批量大小和测量步数下重新运行基准,并至少比较平均吞吐量、数据等待时间和资源利用率。只看 GPU 利用率峰值不足以证明问题解决,因为短暂满载仍可能伴随长时间空等。

生产训练还应连续观察多个 epoch。若首个 epoch 慢、后续明显变快,可能受操作系统文件缓存影响;若耗时周期性抖动,则继续检查垃圾回收、共享存储竞争、数据分片不均和后台任务。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

排查数据加载瓶颈

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通