分类任务基于图像和标量值。
如果我将标量值编码为具有该值的图像像素(或其标准化版本)并将其作为输入图像中的另一层附加,我将在编码上浪费卷积计算周期以将此信息输入网络。
另一方面,我可以将其作为另一个神经元发送到发生锥形特征贴图展平的图层。另一种选择是在输出层之前添加。 (但我如何在Keras或tensorflow中实现这样的网络?)
以标量值发送的最佳方法是什么?
PS:虽然这个问题并不是针对任何框架的,但是Keras的例子非常简单,以至于大多数人都能理解这些问题......同样欢迎链接到博客也是如此。答案 0 :(得分:1)
在Cross Validated网站上查看此问题和答案:Combining image and scalar inputs into a neural network
除了在那里提到的论文中提出的“偏差”方法(当标量被用作某些卷积层的偏差时),并且在答案中建议的另一个选项是将标量附加到某些平坦层,您还可以使用内部产品(完全连接,Keras中的“密集”)图层来查找ND输入到标量之间的连接模式。