视频中的对象跟踪

Question

我试图跟踪视频中的人物。但我找不到一个与https://www.youtube.com/watch?v=Qjr3RYecv3U类似的合适算法。

我尝试将模板匹配与光流相结合，但如果跟踪对象与另一个对象重叠，则会丢失该跟踪对象。有人可以推荐一种合适的跟踪方法吗？

我正在使用Python和OpenCV。

Answer 1

ILSVRC 2017竞赛的results昨天（2017年7月17日）发布。两个跟踪类别中的获胜者，任务3c（物体检测/视频跟踪提供的训练数据）和任务3d（物体检测/视频跟踪，带有额外的训练数据），是这个团队：

邓建康（1），周宇翔（1），俞宝生（2），陈哲（2），Stefanos Zafeiriou（1），陶大成（2），（1）伦敦帝国理工学院，（2）大学悉尼

以下是他们的出版物，源代码和演示文稿： [1] Deep Feature Flow for Video Recognition 朱锡洲，熊宇文，戴继峰，陆媛，魏一辰，IEEE计算机视觉与模式识别会议（CVPR），2017年。

[2] Flow-Guided Feature Aggregation for Video Object Detection，朱锡洲，王玉杰，戴吉峰，陆媛，魏一辰。 Arxiv技术报告，2017年。

演示 https://www.youtube.com/watch?v=J0rMHE6ehGw

源代码 https://github.com/msracver/Deep-Feature-Flow

代码具有以下先决条件：

• Python 3.2.0 +
• Microsoft的MXNet
• 用Cython
• OpenCV（Python绑定）

他们的代码需要一个至少有6GB内存的GPU。

另一个选项是ROLO。作者是广汉宁，他使用You Only Look Once（YOLO）进行检测，并使用TensorFlow实现LSTM跟踪。

他发表了一篇论文： Spatially Supervised Recurrent Convolutional Neural Networks for Visual Object Tracking，IEEE国际电路与系统研讨会，2017年

他的代码在这里：https://github.com/Guanghan/ROLO

项目页面：http://guanghan.info/projects/ROLO/

先决条件：

• Python 2.7或3.3 +
• TensorFlow
• SciPy的
• OpenCV（Python绑定）

他工作的一些视频：

• ROLO example on unseen sequence: Surfer
• ROLO example on unseen sequence: Boy
• ROLO example on unseen sequence: Jumping

Answer 2

如果您正在寻找在CPU中运行的快速代码，请查看Drew-NF。这是文章Tubelets with Convolutional Neural Networks for Object Detection from Videos中讨论的神经网络的python实现。 要运行您需要的脚本：

1. Tensorflow

2. 的OpenCV

DrewNF Github Repo