Question

我要实现的体系结构在这里： Patient-data adapted model architecture: ResNet-50。我的图像按标签分为以下文件夹：

[{"name":"name1","jan":4067.5,"feb":1647,
"mrz":1375,"apr":10191,"mai":0,"jun":28679,"jul":59502},
{"name":"name2","jan":47548,"feb":63280.5,
"mrz":51640.26,"apr":75029,"mai":41137,"jun":89114.26,"jul":77332},
{"name":"name3","jan":38099,"feb":55023.5,
"mrz":62668,"apr":39482,"mai":44193.3,"jun":52826.5,"jul":77072},
{"name":"namex","jan":34930.5,"feb":36831.5,
"mrz":24391,"apr":35051,"mai":38038,"jun":12700,"jul":51080}]

我还有一个CSV文件，其中包含图像名称，图像标签（一个图像可以具有多个类标签）和其他信息：

root/
    ├── train/
    │   ├── class1/
    │   ├── class2/
    │   ...
    │
    └── validation/
       ├── class1/
       ├── class2/
       ...

我的网络模型有两个输入，一个输入将用于处理图像，另一个输入将连接到密集层之前的最后一层：

+--------+---------------+-------+------+
| File  |    Labels     | Info1 | Info2 |
+-------+---------------+-------+-------+
| 1.png | class1        | 0.512 |     1 |
| 2.png | class2        |   0.4 |     0 |
| 3.png | class1|class2 |  0.64 |     1 |
+-------+---------------+-------+-------+

要获取图像，我正在将ImageDataGenerator与flow_from_directory配合使用，这对于仅获取图像数据非常有效：

input_shape = (img_height, img_width, 1)

img_input= Input(input_shape)
vec_input = Input((2,))

res = ZeroPadding2D((3, 3))(img_input)

# Processing ...

res = Flatten()(res)
res = Concatenate()([res, vec_input])
res = Dense(classes, activation='softmax', name='fc' + str(classes))(res)

我现在需要将每个图像的附加信息用作模型中的vec_input。我已经看过使用flow_from_dataframe并创建自定义生成器，但是不确定如何执行此操作。我可以通过将图像放置在相同的文件夹中（如果需要）来重组图像，尽管那以后我想我不能使用flow_from_directory。关于如何实现此目标的任何想法？

编辑：

万一有人需要解决方案，这就是我能想到的：

validation_datagen = ImageDataGenerator(rescale=1. / 255)
validation_generator = validation_datagen.flow_from_directory(
        validation_dir,
        target_size=(target_size, target_size),
        batch_size=batch_size,
        class_mode=class_mode,
        color_mode=color_mode)

# Similarly for the train data generator ...

# Train the model using above defined data generators
history = model.fit_generator(
    train_generator,
    epochs=epochs,
    validation_data=validation_generator)

Answer 1

我认为实现此目标的最佳方法是实现自定义Sequence object，并可能继承ImageDataGenerator的方法。也许您不需要的是ImageDataGenerator的所有复杂性（即随机变换，图像保存，插值），在这种情况下，您不需要继承它。

具有附加文本输入的ImageDataGenerator

1 个答案: