是否有标准方法将多个图像输入CNN并最终将信息压缩成单个图像?我正在研究HDR数据集,在该数据集中,您拥有同一场景的多个图像,并将它们组合在一起以形成噪声较小的图像。
我试图将单独的图像设置为通道,但我不确定这是否合适,因为输出很奇怪。
答案 0 :(得分:0)
是的!任何神经网络,无论层数或类型如何,只不过是某种功能 f :我→ O ,所以只要你的不同的输入属于同一类型,您可以随意通过您的网络自由传递,在黑匣子的另一侧获得相同数量的输出。这些可以通过任何其他功能以任何方式使用 g : O x O → O'(可能是加法,张量乘法,连接或类似于另一个神经网络的东西)。
这里没有答案;这在很大程度上取决于您期望您的功能在做什么,您的数据是什么以及您的最终目标是什么。您是否假设所有输入都遵循相同的统计属性或具有相似的基础模式?在这种情况下,你可以争辩说同一个函数可以对它们进行建模。请记住,通过并行(即异步)应用它们,您将使您的函数对两个输入之间潜在的交叉依赖性视而不见,这在某些情况下完全有意义。为了使这一点更清楚,如果你的不同输入是单个图像的不同通道,我认为这是错误的方法;每个频道可以传达不同的信息,并保持你的网络不知道每个频道如何相互影响,同时强迫它使用相同的功能创建有意义的抽象,这听起来不是一个好主意。另一方面,如果您的不同图像是来自不同角度的物体和你正在应用它们的子网络的照片是它们的特征上的某种分类器(例如,已经通过另一个CNN获得),那么使用相同的函数对两者进行建模是有意义的。