Question

我正在尝试使用tensorflow.keras建立语义分割模型。我正在使用的数据集将图像和遮罩存储在单独的目录中，每个文件名都有一个ID，用于将图像文件与其遮罩映射。

以下是我的数据集目录的结构：

new
   - rendered_imges
      - render
         - image_1.tif
         - image_2.tif
         - image_3.tif
   - ground_truths
      - masks
         - mask_1.tif
         - mask_2.tif
         - mask_3.tif

在上述目录结构中，image_{i}.tif对应于mask_{i}.tif。

我尝试编写一个ImageDataGenerator，以完全相同的方式增强图像及其各自的蒙版。我的方法如下：

SEED = 100

image_data_generator = ImageDataGenerator(
    width_shift_range = 0.1,
    height_shift_range = 0.1,
    rotation_range = 10,
    zoom_range = 0.1
).flow_from_directory('./new/rendered_images', batch_size = 16, target_size = (150, 150), seed = SEED)

mask_data_generator = ImageDataGenerator(
    width_shift_range = 0.1,
    height_shift_range = 0.1,
    rotation_range = 10,
    zoom_range = 0.1
).flow_from_directory('./new/ground_truths', batch_size = 16, target_size = (150, 150), seed = SEED)

使用上述方法，尽管我将相同的增强应用于图像和蒙版，但是图像并没有根据其文件名与它们各自的蒙版配对。如果有人可以提出一种使用Keras或Tensorflow正确执行此操作的方法，那就太好了。

Answer 1

您将需要执行一个新功能，该功能将同时生成训练图像和相应的蒙版，您将使用这些蒙版将其输入fit_generator方法中。具体来说，fit_generator的工作方式是产生一个元组序列，以使元组的第一个元素是图像，而元组的第二个元素是预期输出。通过简单地单独使用数据生成器，子目录将隐式编码图像的预期标签。当然，当您尝试进行语义分割时，情况将不再如此。

因此，创建一个新功能，该功能将输出元组的集合，这些元组将为您提供图像和。总而言之，您只需将创建的两个ImageDataGenerators合并在一起，zip，然后进行循环，即可生成每批训练图像和预期的输出标签。

我最后要提到的一件事是，如果要成功将图像和相应的蒙版配对，两个目录的文件名必须匹配。例如，如果在1.tif子目录中有一个名为rendered_imges/render的训练图像，则需要在ground_truths/mask中以相同的方式命名相应的名称。原因是因为即使您匹配种子，它也会在将图像加载到内存之前随机选择文件名，因此要确保在训练图像和相应的蒙版之间保持相同的选择顺序，它们的文件名也需要比赛。在执行此处的操作之前，请确保您已这样做。

因此，请执行以下操作：

def my_image_mask_generator(image_data_generator, mask_data_generator):
    train_generator = zip(image_data_generator, mask_data_generator)
    for (img, mask) in train_generator:
        yield (img, mask)

接下来，像往常一样创建数据生成器：

SEED = 100

image_data_generator = ImageDataGenerator(
    width_shift_range = 0.1,
    height_shift_range = 0.1,
    rotation_range = 10,
    zoom_range = 0.1
).flow_from_directory('./new/rendered_images', batch_size = 16, target_size = (150, 150), seed = SEED)

mask_data_generator = ImageDataGenerator(
    width_shift_range = 0.1,
    height_shift_range = 0.1,
    rotation_range = 10,
    zoom_range = 0.1
).flow_from_directory('./new/ground_truths', batch_size = 16, target_size = (150, 150), seed = SEED)

最后，在模型上调用fit_generator方法。假设您已经正确构建了模型：

from keras.optimizers import Adam
# Your other related imports here...

# Create custom generator for training images and masks
my_generator = my_image_mask_generator(image_data_generator, mask_data_generator)

model = ... # Define your model here
# Compile your model here
model.compile(optimizer = Adam(lr = 1e-4), loss = 'binary_crossentropy', metrics = ['accuracy'])

# Train your model here
model.fit_generator(my_generator,...)

请注意，根据您的目录结构，您似乎在对每个图像执行二进制分割，所以这就是为什么我选择二进制交叉熵作为损失函数的原因。

Keras ImageDataGenerator用于在单独目录中分割图像和蒙版

1 个答案: