如何理解Faster-RCNN中的RPN短语

时间:2018-02-02 09:57:28

标签: neural-network computer-vision deep-learning conv-neural-network object-detection

对不起,这是一个问题,但与很多小问题有关。我无法将它们分成单独的问题。

  1. 例如,输入图片尺寸960x640
  2. 通过VGG16第13层Conv5_3,获取feature_map 60x40x512
  3. 做3x3卷积。

    3.1 3x3卷积如何将上面的输出压缩到1x512?

    3.2我读了一篇文章说,RPN将从2000个锚中随机选择512个样本。如果1x512矩阵意味着这个,那么3x3卷积在做什么?

  4. 循环feature_map,用16步和16比例找到原始地图的中心(对应的特征图当前点),切出9个锚,计算IoU< 0.3作为neg样本和IoU> 0.7作为pos样本。

    4.1如果feature_map上有几个点,如何覆盖GT?我的意思是,因为它需要IoU> 0.7标记pos样本,这里IoU指[区域(从这一点到原始图像的映射)和GT]或[GT的所有区域]的交点?我认为它应该是前者。

  5. 在所有循环结束后,用nms滤除正样本和负样本。是否可以在一个点上有多个锚点,或者nms肯定会过滤掉它?

  6. 传递给softmax。

    6.1我的问题是,在很多情况下,feature_map上各点的位置(标记为正数和负数)是不同的。由于参数的位置也固定在feature_map的特定位置,如何在检测阶段从图像中查找提案?

    6.2随机选择锚点在这里? ?

  7. RoI合并feature_map和提案以进行合并。 (1. roi(roi表示一组锚点)位于特征图中,并在特征图2中得到补丁区域。将类似SPP图层(7x7下采样)的内容应用于特征贴图,转换为固定功能的大小,以适应完整的连接层)

  8. 另一个softmax。 (使用BP调整参数的训练阶段),我的问题是,在很多情况下,每次标记为正和负的feature_map上的点的位置是不同的。由于参数的位置也固定在feature_map的特定位置,如何在检测阶段从图像中查找提案?

  9. RoI与GT相比,做了回归。

  10. 完成上述问题后,再重新考虑一下。我发现我对锚点的理解,建议有点令人困惑。许多锚点是否构成提案? 如果是这样,则上面的6变为

    1. 选择512个锚点,将其参数传递给softmax,输出显示它是否是目标对象的一部分。所以这一层是检测阶段。在进行检测阶段时,只需循环所有锚点以获得可能的锚点。

      6.1但在这种情况下,RPN如何输出bbox大小(x,y,w h)?我认为它需要合并选定的锚点,然后缩放到原始图像的大小,以获得bbox大小。

      6.2如果操作合并,那么从2000年随机选择的512可能会错过某些区域,不是吗?

    2. 主要是3和6,我认为所有这些都是高度相对的,不能分开。有些只是需要或不确认,谢谢

0 个答案:

没有答案