我们已基于Faster R-CNN模型在Keras中实现了对象检测框架。当前，我们想找到一种自动分类模型效果良好的图像的方法。因此，我的想法是像在GAN中一样，创建一个鉴别模型，以将地面真实情况与预测的情况区分开。
基本思想是，我们通过主干图像分类器（使用DenseNet）运行图像，并通过FRCNN的RoI池化层在随机抽取GT或预测的情况下，将地面真实框或预测框放在该图像上。在RoI Pooling之后，我们添加了几个FC层，然后添加了一个具有S型激活的神经元。
因此，此模型现在要么学习“太好”（表示在10张图像后二进制精度接近100％），要么学习“太差”（表示整个时间内二进制精度接近50％）。这取决于我们是否加载了使用FRCNN模型训练的权重。如果我们加载它们，则RoI池合并后GT盒的激活可能与预测盒的激活完全不同。如果不加载权重，则该模型可能“太虚弱”，无法学习某些东西。
所以我们的问题是：是否有人对如何建模和训练这种方法有任何经验或直觉？我们的网络存在本质上的问题吗？