哪种算法对于实时检测视频帧中的可变形ROI（不是对象）最有用？

Question

我正在MATLAB中进行一个项目（以后在C ++或Python中使用OpenCV进行实现），在该项目中，当实时视频开始播放时，用户可能会绘制感兴趣的区域。它将绘制为多边形。但是，此ROI可能会脱离框架，然后重新出现。此时，应该对其进行识别和检测。主要问题是它不是具有特定物理特性的显着物体，因为它可以（在某种程度上）改变形状，弯曲，伸展。而且，应该实时运行，这使得难以实施培训。

我尝试使用颜色直方图强调ROI的颜色特征，然后对图像进行阈值处理，但它仅在特定条件下有效。我确实具有工程学背景，但是在此之前没有使用过任何机器学习。我读到SVM的HOG功能可能会有所帮助，甚至可能会有所帮助。使用ACF可以取得一些不错的结果，但是仍然需要对分类器进行训练。

此目标是在完全丢失跟踪器后重新初始化该区域内的跟踪器。我知道训练分类器后，可以通过多种算法识别它，但是我遇到的问题是实时进行分类，而无需任何先前的训练。

由于视频是外科手术，因此我上传了4个示例帧，说明用户ROI的边界框是什么。

（下面显示的手术照片，用鼠标悬停在该区域上方或单击以显示它们。）

  

任何建议都会有很大帮助。

Answer 1

因为投资回报率是实时确定的，所以我认为带有预训练的功能在这里不起作用。最近，我遇到了一个有助于find a sticker in the image的话题。建议的解决方案是template matching。

这些步骤是捕获ROI并使用模板匹配来搜索每一帧中的“最佳相似”区域。

因为在您的情况下，对象可能随时间变化（不是太大），所以结果可能并不完美，但这是个好方法。

所提及主题的图片