如何在keras中协调图像和矩阵输入？

Question

我想在Keras中创建一个模型，该模型从具有n图像的目录和形状为n rows X m features的矩阵输入接收图像。

我知道如何从目录创建生成器以及如何将矩阵数据输入到模型中，但我想使用不同的网络然后merge。

如何确保n-th image和n-th row在同一步骤中投放？当使用批次时，这些也会协调。

Answer 1

他们 作为相同的样本提供，不用担心。 Keras将要求您在两个输入张量的第一维中都有n，因此，没有什么可以出错。确保images.shape[0] == matrix.shape[0]。这是唯一的条件，它将从两个输入中提供并行样本。

imageInput = Input((side1,side2,channels))   
matrixInput = Input((m,))

#use these two inputs in a model here
.....
#merge the two sides somehow

outputTensorFromTheLastLayer = #get this from your last layer in the model

#instantiate the model with 2 inputs
model = Model([imageInput,matrixInput], outputTensorFromTheLastLayer)

至于合并，有很多可能性，你必须要有创意。

注意您尝试合并并使用一些可能的合并图层的张量的形状：https://keras.io/layers/merge/