如何以三个图像作为单一输入来训练模型

Question

我想训练Inceptionv3模型，在该模型中，我试图为单个图像提供3种不同的视图并进行训练。所以我想在一个提要中提供三张图像作为输入。

用例：

我想预测鞋子的类型。在此问题中，通常会有很多信息出现在不同的视图，因此只想尝试这种方法。

Answer 1

最简单的方法是将所有3张图像分别输入到Inceptionv3模型中，然后对所有3个输出一起执行一些加权决策。

一种更好的方法是将Inceptionv3模型用作3个输入分支中的1个，而不是采用每个分支的嵌入层（最后一个层之前的层）并将它们全部与一个完全连接的分类层（具有softmax激活）组合在一起。可以训练3个分支，使其针对特定视图或与共享权重一起进行训练（使用如此大的模型，可以一起工作）。

顺便说一句，对于鞋子类型分类任务，我建议使用更简单的模型（Inceptionv3是一个过大的选择）。

Answer 2

我认为您有不同的表演方式：

• 删除开始的第一层并创建您的支持3x3的层 尺寸。
• 对每个输入使用第一个起始块，然后将它们串联在某个fc层中（或之前）。如果要搜索的功能相似，则可以使用共享参数。

第一种情况将合并所有尺寸，并扩散为任何图像提供的信息。 第二个将提取每个图像中的特定特征。