我正在寻找能够解决近乎重复的视频检测问题的开源项目。最好的,我现在发现它是SOTU,但它的来源已经关闭。那么,有没有开源解决方案?
另外,我将非常感谢这个问题的理论部分的一些链接。
答案 0 :(得分:16)
这是近乎重复的一个项目:哥伦比亚大学DVMM实验室的 INDetector (源代码可用,我认为不是完全开源的)。还有some info on applying that to video(主要是关键帧)。
还有pHash,一个用于图像的开源“感知哈希”库。
还有IMMI,一个用于RapidMiner的开源图像挖掘插件。
通过将所有帧或所选帧(例如关键帧)视为算法的输入,然后聚合来自两个不同剪辑的帧对的相似性的结果,可以将这些中的任何一个应用于视频和图像。
您也可以尝试与UQLIPS的作者联系(Shen等人,引用如下)。
另外,查看TRECVID的条目列表,有些年份将近似重复检测作为任务之一,您可以与其中一些组取得联系并获得该软件。
如果您想自己去实现这一点,那么实现任何已发布算法的原型应该相当容易。我建议(a)对你感兴趣的数据尝试一些简单的算法,并且(b)根据观察到的简单组合,使用某种类型的投票/投票过程来组合他们的输出在这些问题中,简单算法通常会优于单一复杂算法。
另外,查看Earth Movers Distance(关于颜色直方图,渐变,......)以进行简单的特征提取(仅适用于所有帧或选定的帧)。这可以通过python / numpy / scipy / pyopencv中的几行代码方便地完成。
以下三篇可能是该领域引用最多的论文,均由不同的研究小组撰写:
Yang,J.,Y。G. Jiang,A。G. Hauptmann和C. W. Ngo。 “评估场景分类中的视觉词汇表示。”“多媒体信息检索研讨会国际研讨会论文集”,197-206,2007。http://dl.acm.org/citation.cfm?id=1290111。
Shen,H。T.,X。Zhou,Z。Huang,J。Shao和X. Zhou。 “UQLIPS:实时近乎重复的视频片段检测系统。”在第33届超大型数据库国际会议论文集,1374-1377,2007。http://dl.acm.org/citation.cfm?id=1326018。
Wu,X.,A。G. Hauptmann和C. W. Ngo。 “从网络视频搜索中实际消除近乎重复的内容。”在第15届国际多媒体会议论文集,218-227,2007。http://dl.acm.org/citation.cfm?id=1291280。
Yang等与SOTU中使用的方法相同。
答案 1 :(得分:4)
我认为图书馆AForge.NET对您有用。它们有一个组件,允许您执行运动检测,这实际上是与环境“理论”背景的“比较”。
我非常肯定您可以使用AForge.NET的一些基本工作,并加快您对重复视频检测的研究。
希望这有帮助,
祝你好运