多输入深度学习中的平均层

Question

我正在努力在Keras中为图像分类创建一个多输入卷积神经网络（CNN）模型，该模型将获取两张图像并给出一个输出，即两张图像的类。

我有两个数据集：type1和type2，每个数据集包含相同的类。该模型应从Type1数据集中获取一幅图像，从Type2数据集中获取一幅图像，然后将这些图像分类为一类（ClassA或ClassB或------）。

我想创建一个预测两个图像的模型，然后计算与以下图像相似的预测平均值：

如何创建此模型？ 如何在fit_generator中创建生成器？

Answer 1

选项1-双方都是相同的模型，只是使用不同的输入

假设您有一个称为“谓词”的模型，称为predModel。
创建两个输入张量：

input1 = Input(shape)   
input2 = Input(shape)

获取每个输入的输出：

pred1 = predModel(input1)
pred2 = predModel(input2)   

平均输出：

output = Average()([pred1,pred2])

创建最终模型：

model = Model([input1,input2], output)

选项2-双方都是相似的模型，但是使用不同的权重

与上面基本相同，但分别为每一面创建图层。

def createCommonPart(inputTensor):
    out = ZeroPadding2D(...)(inputTensor)
    out = Conv2D(...)(out)

    ...
    out = Flatten()(out)
    return Dense(...)(out)

进行两个输入：

input1 = Input(shape)   
input2 = Input(shape)

获取两个输出：

pred1 = createCommonPart(input1)
pred2 = createCommonPart(input2)

平均输出：

output = Average()([pred1,pred2])

创建最终模型：

model = Model([input1,input2], output)

发电机

任何产生[xTrain1,xTrain2], y的东西。

您可以这样创建一个：

def generator(files1,files2, batch_size):

    while True: #must be infinite

        for i in range(len(files1)//batch_size)):
            bStart = i*batch_size
            bEnd = bStart+batch_size

            x1 = loadImagesSomehow(files1[bStart:bEnd])
            x2 = loadImagesSomehow(files2[bStart:bEnd])
            y = loadPredictionsSomeHow(forSamples[bStart:bEnd])

            yield [x1,x2], y

您也可以通过类似的方式实现keras.utils.Sequence。

class gen(Sequence):
    def __init__(self, files1, files2, batchSize):
        self.files1 = files1
        self.files2 = files2
        self.batchSize = batchSize

    def __len__(self):
        return self.len(files1) // self.batchSize

    def __getitem__(self,i):

        bStart = i*self.batchSize
        bEnd = bStart+self.batchSize 

        x1 = loadImagesSomehow(files1[bStart:bEnd])
        x2 = loadImagesSomehow(files2[bStart:bEnd])
        y = loadPredictionsSomeHow(forSamples[bStart:bEnd])

        return [x1,x2], y