在视频中查找有趣的帧

Question

有没有人知道我可以使用哪种算法来查找视频的“有趣”代表性缩略图？

我说30个位图，我想选择最具代表性的一个作为视频缩略图。

明显的第一步是消除所有黑框。然后或许寻找不同帧之间的“距离”并选择接近平均值的东西。

这里的任何想法或发表的论文都有帮助吗？

Answer 1

如果视频包含结构，即几次拍摄，那么视频摘要的标准技术涉及（a）镜头检测，然后（b）使用第一帧，第一帧或第n帧来表示每个镜头。见[1]。

但是，让我们假设您希望在从单个摄像机源获取的单个连续帧流中找到一个有趣的帧。即一枪。这是在IR / CV（信息检索，计算机视觉）文本中广泛讨论的“关键帧检测”问题。一些说明性的方法：

• 在[2]中，为所有帧计算平均颜色直方图，关键帧是具有最接近直方图的关键帧。即我们根据颜色分布选择最佳框架。
• 在[3]中，我们假设相机静止是帧重要性的指标。如上面的床所示。我们使用光流选择静止帧并使用它。
• 在[4]中，每个帧投影到一些高维内容空间，我们在空间的角落找到这些帧并用它们来表示视频。
• 在[5]中，使用内容空间中的长度和新颖性来评估帧的重要性。

一般来说，这是一个很大的领域，有很多方法。您可以查看学术会议，如国际图像和视频检索会议（CIVR），了解最新的想法。我发现[6]提供了视频抽象（关键帧检测和摘要）的有用的详细摘要。

对于你的“找到最好的30位图”问题，我会使用像[2]这样的方法。计算帧表示空间（例如帧的颜色直方图），计算直方图以表示所有帧，并使用两者之间的最小距离的帧（例如，选择最适合您空间的距离度量。我会尝试地球移动者的距离）。

1. M.S。卢。视觉信息检索原理。 Springer Verlag，2001。
2. B中。 Gunsel，Y。Fu和A.M. Tekalp。分层时间视频分割和内容表征。多媒体存储和存档系统II，SPIE，3229：46-55,1997。
3. W上。狼。通过运动分析选择关键帧。在IEEE国际声学，语音和信号处理会议，第1228-1231页，1996年。
4. L， Zhao，W。Qi，S.Z。李，S.Q。杨和H.J.张。使用最近特征线的关键帧提取和镜头检索。在IW-MIR，ACM MM，第217-220页，2000年。
5. S上。 Uchihashi。 Video Manga：生成语义上有意义的视频摘要。 在Proc。 ACM Multimedia 99，Orlando，FL，Nov。，383-292页，1999。
6. ÿ。 Li，T。Zhang和D. Tretter。视频抽象技术概述。技术报告，惠普实验室，2001年7月。

Answer 2

你问了论文，所以我发现了一些。如果您不在校园或通过VPN连接到校园，这些文件可能很难达到。

PanoramaExcerpts：提取和打包视频浏览的全景图

http://portal.acm.org/citation.cfm?id=266396

这个解释了生成漫画风格关键帧表示的方法。

摘要：

本文介绍了自动创建类似漫画书的图片视频摘要的方法。视频片段的相对重要性是根据它们的长度和新颖性来计算的。图像和音频分析用于自动检测和强调有意义的事件。基于这种重要性测量，我们选择相关的关键帧。选定的关键帧按重要性确定大小，然后有效地打包到图片摘要中。我们提供了一个量化度量，衡量摘要在视频中捕获突出事件的程度，并说明如何使用它来改进我们的摘要。结果是一个紧凑且视觉上令人愉悦的摘要，捕获语义上重要的事件，适用于打印或Web访问。通过包括从OCR或其他方法派生的文本标题，可以进一步增强这种摘要。我们将介绍如何使用自动生成的汇总来简化对大量视频的访问。

根据scenecontent自动提取代表性关键帧

http://ieeexplore.ieee.org/xpls/abs_all.jsp?arnumber=751008

摘要：

为电影制作索引是我们寻求自动化的繁琐而昂贵的过程。虽然可以容易地获得用于查找场景边界的算法，但是在选择单个帧以简洁地表示场景方面几乎没有进行任何工作。在本文中，我们提出了基于场景内容自动选择代表性关键帧的新算法。在几种算法的详细描述之后，分析人类感觉所选择的帧代表场景的程度。最后，我们将讨论如何将这些算法与现有算法集成以查找场景边界。

Answer 3

我认为你应该只关注关键帧。

如果视频未使用基于关键帧的压缩进行编码，则可以根据以下文章创建算法：Key frame selection by motion analysis。

根据视频的压缩情况，您可以每2秒或30秒获得一次关键帧。我认为您应该使用文章中的算法来查找所有关键帧中的“最”关键帧。

Answer 4

赞成美观的框架也许是有益的。也就是说，寻找摄影的常见属性 - 长宽比，对比度，平衡等。

如果您不知道自己在寻找什么，就很难找到代表性的镜头。但是通过一些启发式和我的建议，至少你可以想出一些好看的东西。

Answer 5

我最近在一个项目上进行了一些视频处理工作，就视频处理而言，我们使用OpenCV来完成繁重的工作。我们必须提取帧，计算差异，提取面等.OpenCV有一些内置算法可以计算帧之间的差异。它适用于各种视频和图像格式。

Answer 6

哇，这是一个很棒的问题 - 我想第二步就是迭代删除那些在它和它的继承者之间几乎没有变化的帧。但是你真正做的就是减少潜在的有趣帧的集合。你究竟如何确定“有趣”是我想的特殊酱，因为你没有像Flickr那样依赖用户交互统计数据。

Answer 7

导演有时会徘徊在一个特别“有趣”或美丽的镜头上，那么如何找到一个不会改变的5秒部分然后消除那些几乎是黑色的部分呢？