Question

如何在您自己的数据（而不仅仅是torch.utils.data.Dataset）上使用torch.utils.data.DataLoader和torchvision.datasets？

有没有办法使用他们在DataLoaders上使用的内置TorchVisionDatasets用于任何数据集？

Answer 1

是的，这是可能的。只需自己创建对象，例如

import torch.utils.data as data_utils

train = data_utils.TensorDataset(features, targets)
train_loader = data_utils.DataLoader(train, batch_size=50, shuffle=True)

其中features和targets是张量。 features必须是2-D，即矩阵，其中每一行代表一个训练样本，而targets可能是1-D或2-D，具体取决于您是在尝试预测标量还是矢量。

希望有所帮助！

编辑：回应@ sarthak的问题

基本上是的。如果创建类型为TensorData的对象，则构造函数会调查特征张量的第一个维度（实际上称为data_tensor）和目标张量（称为target_tensor）是否具有相同的长度：

assert data_tensor.size(0) == target_tensor.size(0)

但是，如果您想随后将这些数据提供给神经网络，那么您需要小心。虽然卷积层对像你这样的数据起作用，但我认为，所有其他类型的层都希望数据以矩阵形式给出。所以，如果遇到这样的问题，那么一个简单的解决方案是使用方法FloatTensor将您的4D数据集（作为某种张量给出，例如view）转换为矩阵。对于5000xnxnx3数据集，这将如下所示：

2d_dataset = 4d_dataset.view(5000, -1)

（值-1告诉PyTorch自动计算出第二个维度的长度。）

Answer 2

您可以轻松地扩展data.Dataset课程。根据{{3}}，您所要做的就是实现两个功能：__getitem__和__len__。

然后，您可以使用DataLoader包装数据集，如API和@ pho7的答案所示。

我认为ImageFolder类是一个参考。请参阅代码API。

Answer 3

除了user3693922's answer和accepted answer这两个link“快速” PyTorch文档示例之外，它们还为自定义数据集创建自定义数据加载器，并在“最简单的” ”案例，有关如何创建具有相关预处理功能的自定义数据加载器的详细信息，请参见PyTorch官方官方指南："writing custom datasets, dataloaders and transforms" official PyTorch tutorial

Answer 4

是的，您可以做到。希望这对将来的读者有所帮助。

from torch.utils.data import TensorDataset, DataLoader
import torch.utils.data as data_utils

inputs = [[ 1,  2,  3,  4,  5],[ 2,  3,  4,  5,  6]]
targets = [ 6,7]
batch_size = 2

inputs  = torch.tensor(inputs)
targets = torch.IntTensor(targets)
    
dataset =TensorDataset(inputs, targets)
data_loader = DataLoader(dataset, batch_size, shuffle = True)

Answer 5

是的。 Pytorch 的 DataLoader 旨在将 Dataset 对象作为输入，但它所需要的只是一个具有 __getitem__ 和 __len__ 属性的对象，因此任何通用容器都足够了。< /p>

例如以您的特征（x 值）为第一个元素，将目标（y 值）作为第二个元素的元组列表可以直接传递给 DataLoader，如下所示：

x = [6,3,8,2,5,9,7]
y = [1,0,1,0,0,1,1]

data = [*zip(x,y)]
dataloader = torch.utils.data.DataLoader(data)

for features, targets in dataloader:
    #...

PyTorch：如何将DataLoader用于自定义数据集

5 个答案: