将pytorch CNN应用于视频?

时间:2019-09-11 14:01:36

标签: pytorch image-recognition

我正在寻找有关如何将pytorch CNN应用于视频而不是图像的建议。

为一架无人驾驶飞机拍摄一个区域,并使用视频捕获下面的一些物体。我有一个接受过CNN训练的对象图像训练,想对视频中的对象进行计数。

目前,我的策略是将视频转换为PNG帧,并在这些PNG上运行CNN。这似乎效率很低,而且我在如何不重复地计算对象(第1帧和第1 + n帧会重叠)方面苦苦挣扎。

如果有人提出建议或这样做的建议教程/代码集,将不胜感激。提前致谢。

2 个答案:

答案 0 :(得分:0)

PyTorch目前在视频中没有support to detect and track objects

您需要为此创建自己的逻辑。

该支持仅限于从文件中读取视频和音频,读取帧和时间戳以及将视频更多地写入here中。

您基本上需要做的是创建一个对象跟踪,并通过保持其正方形位置并一框一帧的方式来逐帧跟踪,并以此来确定是否存在相同的对象。

如果您有无人机在飞行并检查人员,则可以检查Kinetics来检测人为行为:

  • ResNet 3D 18
  • ResNet MC 18
  • ResNet(2 + 1)D

全部基于Kinetics-400 但是较新的是Kinetics-700

答案 1 :(得分:0)

尝试使用 torchvision 和 torch 识别 YouTube 视频中的对象

https://dida.do/blog/how-to-recognise-objects-in-videos-with-pytorch