如何在AWS S3存储桶中存储的文件夹上使用torchvision.datasets.ImageFolder

时间:2020-09-28 18:42:39

标签: amazon-web-services amazon-s3 pytorch

可以说我在AWS S3存储桶中存储了巨大的图像数据。我需要使用trochvision.datasets.ImageFolder,因为我的训练数据在适当的文件夹中。因此,我想在我的Sagemaker笔记本中使用以下代码。

from torch.utils.data import DataLoader
from torchvision import datasets, transforms

data_location = "s3_bucket/folder" 
batch_size= 16

transforms_= transforms.Compose([ transforms.RandomHorizontalFlip(p= 0.25),
                                transforms.RandomRotation(30),
                               transforms.RandomCrop(256, pad_if_needed=True),
                               transforms.ToTensor(),
                               transforms.Normalize([0.5, 0.5,0.5], [0.5,0.5,0.5]),
                               ])

train_dataset= datasets.ImageFolder(data_location, transform= transforms_)
train_loader= DataLoader(train_dataset, batch_size= batch_size, shuffle= True)

我该怎么做?

0 个答案:

没有答案
相关问题