如何结合两个快速R-CNN模型进行目标检测？

Question

我正在研究视频中的目标检测，我想针对两种不同类型的数据（例如RGB和光流）训练两个快速R-CNN模型，然后将这些模型组合到一个网络中。

我在一种数据类型中训练了模型，但是我不知道如何组合这两种数据。

任何帮助都会很棒！

Answer 1

您正在寻找的是两流CNN架构。如Peng and Schmid in Multi-region two-stream R-CNN for action detection所述。实施方式千差万别，但是您需要使用光流和图像数据重新训练两流模型。