组合图像的两个视图以加强DL模型的输出

时间:2018-04-25 07:29:18

标签: deep-learning keras keras-layer

我已经尝试了几个星期这个问题,但无济于事。

我的问题是:

深度学习模型包含以下信息:

INPUT:图像序列

输出:图像中发生了什么,即对10个活动序列中发生的活动进行分类。

我有两个摄像头从两个视图记录相同的活动,我如何组合这两个视图以提高准确性?

2 个答案:

答案 0 :(得分:0)

我认为你应该使用DELF功能,提取两个相似图像的特征并将它们组合起来。

答案 1 :(得分:0)

如何组合这两个视图完全取决于您对问题的理解。让我举两个不同的例子,

CASE I :当您查看训练数据时,您可以轻松判断哪些摄像机更适合某些数据。例如一个摄像头可以捕捉一切有用的东西,而另一个摄像头可能不会因为可能的遮挡(注意:我不是说一个摄像头总是比另一个好)。在这种情况下,您可以使用稍后的融合技术仅融合表示来自两个摄像机的序列的两个结果特征。

CASE II :您很难分辨哪个相机更好。这基本上表明,在考虑两个相机后,您可能看不到性能提升,但可能会有一些小改进。

最后,当你说两个摄像头时,你是否有可能做双目立体视觉?在这种情况下,您可以获得任何单个摄像头中未包含的额外深度信息,并且可能对识别任务有帮助。