Question

我正在尝试解决一个既接受图像输入又接受文本输入的机器学习问题，为此，我只是使用词袋模型进行矢量化。

我已经使用下面的函数为模型设置了两个生成器。这很大程度上是基于In keras, how to fit multiple input data with different type中simonst的回答，确实很有帮助。

def create_generators(x_train_feat, x_val_feat, train_batch_size, val_batch_size):

    '''
    Training function
    '''

    train_datagen = ImageDataGenerator(
        featurewise_center=False,
        samplewise_center=False,
        featurewise_std_normalization=False,
        samplewise_std_normalization=False,
        zca_whitening=False,
        zca_epsilon=0,
        rotation_range=0.05,
        width_shift_range=0.05,
        height_shift_range=0.05,
        channel_shift_range=0,
        fill_mode='nearest',
        cval=0,
        vertical_flip=False,
        rescale=1./255,
        shear_range=0.,
        zoom_range=0.,
        horizontal_flip=False)


    val_datagen = ImageDataGenerator(
        rescale=1./255,
        featurewise_std_normalization=False,
        featurewise_center=False)


    train_generator=train_datagen.flow_from_dataframe(
        dataframe=subset_df_train,
        directory='./',
        x_col="image_path",
        y_col="Category_Name",
        batch_size=train_batch_size,
        seed=42,
        shuffle=True,
        class_mode="categorical",
        target_size=target_size)

    validation_generator = val_datagen.flow_from_dataframe(
        dataframe=subset_df_valid,
        directory="./",
        x_col="image_path",
        y_col="Category_Name",
        batch_size=val_batch_size,
        seed=42,
        shuffle=True,
        class_mode="categorical",
        target_size=target_size)

    def train_feat_gen(x_train_feat, train_batch_size):
        while True:
            for batch in range(len(x_train_feat) // train_batch_size + 1):
                if batch > max(range(len(x_train_feat) // train_batch_size)):
                    yield x_train_feat[batch*train_batch_size:]
                else:
                    yield x_train_feat[batch*train_batch_size:(1+batch)*train_batch_size]

    def val_feat_gen(x_val_feat, val_batch_size):
        while True:
            for batch in range(len(x_val_feat) // val_batch_size + 1):
                if batch > max(range(len(x_val_feat) // val_batch_size)):
                    yield x_val_feat[batch*val_batch_size:]
                else:
                    yield x_val_feat[batch*val_batch_size:(1+batch)*val_batch_size]

    def merge_generator(gen1, gen2):
        while True:
            X1 = gen1.__next__()
            X2 = gen2.__next__()
            yield [X1[0], X2], X1[1]



    final_train_gen = merge_generator(train_generator, train_feat_gen(x_train_feat, train_batch_size))
    final_val_gen = merge_generator(validation_generator, val_feat_gen(x_val_feat, val_batch_size))


    return (final_train_gen,final_val_gen)

final_train_gen,final_val_gen = create_generators(aux_train, aux_valid, 16, 16)

不幸的是，当我使用下面的代码运行模型时，

hist = model.fit_generator(
    final_train_gen,
    steps_per_epoch=train_len // 16,
    epochs=3,
    validation_data=final_val_gen,
    validation_steps=valid_len // 16)

我遇到以下错误：ValueError：所有输入数组（x）应该具有相同数量的样本。得到的阵列形状：[（16，128，128，3），（0，2160）]。

但是，这仅发生在第二个时期。第一辆火车可以。基于（0,2160），看来第二个时期未正确加载批次（我的批次大小为16）。不幸的是，由于我不太了解上面的create_generators函数如何将两者合并，因此我不确定问题出在哪里，非常感谢您提供帮助/指导。

道歉，因为代码是实验性的，因此有些混乱，并且缺少一些底层上下文-我希望我提供的信息足以理解该问题。

谢谢。

Answer 1

您可以创建一个生成器，以将每个图像与其关联的文本配对。只需将图像和文本的数据框或文件传递给fit_generator函数，并对其进行处理，以使其根据您具有的条件（例如ID）进行匹配，并产生具有一定大小的数组，即可与所需批次匹配尺寸。然后，您可以像在代码中那样生成一个元组，但是现在您可以保证批处理大小匹配。如果您确实要使用两个生成器，可以在这里查看： https://github.com/keras-team/keras/issues/8130

如何通过fit_generator为Keras模型提供多个输入

1 个答案: