Question

我需要加载时间序列数据集来训练网络。当我从原始数据中提取这些train_x_0.npy文件时，由于内存问题，该数据集被分成许多块train_x_1.npy，train_x_40.npy，...，.npy（41个块）。但是，它们的大小太大（大约1000 GB），我无法将所有内容都加载到RAM中。我一直在考虑解决这个问题的两种方法。

使用带有参数np.load()的{{1}}加载数据块。内存映射的块存储在Python列表mmap_mode='r+'中。在Pytorch self.data类的__getitem__(self, idx)方法中，我将Dataset转换为idx和chunk_idx，然后通过sample_idx获取示例。
再次从原始数据中提取self.data[chunk_idx][sample_idx]文件，并逐样本保存数据，即，一个.npy文件现在是一个样本，而不是数据块。在.npy方法中，我将使用__getitem__(self, idx)加载一个样本。

假设Pytorch np.load(sample_path)将用于遍历所有样本，那么哪种方法会更快？

如果您有其他建议提取原始数据或加载DataLoader文件，请分享您的意见。

Answer 1

这两种建议的方法都将受到文件系统IO的限制，因为每个样本都将按需从磁盘加载（一旦请求了给定的补丁程序，内存映射不会加快实际加载的速度）。

尤其是当您计划训练许多纪元时，可以通过加载原始块train_x_0.npy，train_x_1.npy等（例如，一个（或尽可能多的）RAM）来实现强大的加速。），并在切换到下一个块之前训练该块上的多个时期。

为此，您需要控制dataloader请求的样本索引。为此，您可以定义一个采样器，该采样器将传递给相应的缓存数据块中可用的样本索引。在伪代码中，一次缓存一个块时，您的训练循环可能看起来像这样：

from yourproject import Dataset
from torch.utils.data import DataLoader
from torch.utils.data.sampler import SubsetRandomSampler

dataset = Dataset(train_data_path, ...)
for chunk_idx in range(num_chunks):
  dataset.cache_chunk(chunk_idx)
  chunk_sample_inds = dataset.get_chunk_sample_inds(chunk_idx)
  chunk_sampler = SubsetRandomSampler(chunk_sample_inds)
  chunk_loader = DataLoader(dataset=dataset, sampler=chunk_sampler)
  for chunk_epoch in range(num_chunk_epoch):
    for sample_idx, sample in enumerate(chunk_loader):
       output = model(sample)

在这里，您的Dataset类需要照顾

在给定块IDx（由cache_chunk方法指示的情况下）缓存（加载到RAM）指定的块
返回给定块idx的有效样本索引列表（由get_chunk_sample_inds方法表示）

如果您使用快速GPU（通常受RAM和VRAM之间来回处理数据的限制，即使对于RAM缓存的数据也是如此），则可以预期使用这种方法可以将速度提高几个数量级（而不是尝试为每个样本填充HDD中的VRAM）。

比较深度学习中数据加载方法的效率

1 个答案: