是否有python函数将数据集分为训练，验证和测试？

Question

我有一个目录，其中包含用于培训，测试和验证的所有数据，但是这些数据位于目录内，例如：

1. 目录
   • 01
     • Image001.png
     • Image002.png
     • Image003.png
     • Image004.png
   • 02
     • Image001.png
     • Image002.png
     • Image003.png
     • Image004.png
   • ...
     • ...
   • 29
     • Image001.png
     • Image002.png
     • Image003.png
     • Image004.png

其中01是标签，Image001 ... Image004是训练/测试/验证图像。

是否有任何张量流函数将我的数据集分为训练，测试和验证？

我尝试过：

data_generator = ImageDataGenerator(preprocess_input)
train_generator = data_generator.flow_from_directory(
                                        directory='../input/',
                                        target_size=(image_size, image_size),
                                        batch_size=10,
                                        class_mode='categorical')

我需要拆分什么？

Answer 1

如果只想将数据分为训练和验证，则可以在ImageDataGenerator中使用验证拆分参数。创建培训和验证生成器时，您可以传递subset =“ training / validation”，并通过相同的目录进行验证和培训。您可以在这里Training with validation split

进行检查

出于测试目的，您必须保留一个单独的目录。