在视频中找到有辨别力的关键帧的好方法是什么？

Question

我需要从特定人类行为的视频中提取单个“关键帧”（动作可能是通用的），这样它就具有辨别力而不是描述性（Finding an interesting frame in a video）。

简而言之，我需要在篮球视频中找到一个区别于喝咖啡的视频。

我见过的大多数论文都是某种视频摘要技术，但这样提取的帧不一定是最好的分离动作类别。这是我的绊脚石 - 在测试期间，我只有测试视频来提取关键帧，但我需要一些模型，这将允许我提取与其他动作类别视频最不同的帧。

Answer 1

虽然这是一个有趣的问题，但对我来说听起来不明确。你想要一个框架（很可能会有不止一个，所以谈论“一帧”可能不正确）将你的测试视频与其他视频区分开，但你不要知道其他视频是什么。例如，如果您的整个集合包含篮球视频怎么办？如果不知道（或者至少对其他视频有什么合理的期望），即使对于人类来说，这项任务也是不可能的。

我能想到的一种方法是使用概率模型来帮助您确定帧的唯一性与否。您可以使用一些现有的视频测试集来训练此模型：使用某种相似性度量将所有帧相互比较，并专注于发生频率最低的帧。然后将模型应用于不同（但相似）的测试集。 YMMV。

最后，您提到您对动作类别感兴趣，但您关注的是帧，即仅限静态图像。首先将视频分段为镜头（查看您发布的链接）然后查找独特的镜头可能很有用。然后，您可以从独特的镜头中选择您唯一的候选帧。

祝你好运！

Answer 2

视频是否已修复背景？ （静止图像，没有摄像机运动）

如果是这样，您可以使用以下天真算法：

1. 对于每个视频，通过平均每个像素随时间计算平均图像。 （=合成代表图像）。
2. 对于每个视频：A。对于每个帧，计算它与其他视频的代表帧之间的距离分数。 B.保持总体距离最远的框架。 （与其他视频代表最不同的框架）