音频/视频内容提示

Question

可以从这些媒体中提取哪种语义信息？任何事都可以，无论是音乐和口头文本之间的区别，检测不同的声音（如枪声或鸟类或汽车），检测室内/室外拍摄或摄像机运动的强度。

我知道此类别中有many，many，many，manymanymany个研究主题，但我没有找到任何这些的任何申请。是否有人链接到关于这些主题的即将推出的产品的应用程序/库/工作原型/新闻？

Answer 1

查看MP4REG，它是“MP4系列”文件中代码点的注册机构。

短引物：在MPEG4和MPEG4中。 QuickTime世界，媒体的基本物理构建块称为“Atom”。 Atoms不仅可以包含实际的音频和视频，还可以包含技术和非技术元数据。最后一个听起来很有趣。

E.g：

• albm：相册标题和曲目编号（用户数据）
• jp2i：知识产权信息

关于元数据，我只仔细研究了一下这个东西，我的印象是它是一个快速而松散的世界。您可能希望查看一些低级别的MP4解析工具，它们可以让您检查真实世界媒体文件的各个原子。我认为在特定系统中甚至可以使用非官方（未注册）自定义原子。

Answer 2

查找此应用程序的最佳主题是您可能希望查看“基于内容的视频检索和索引”的研究主题

除此之外：

• 您可以使用学习技巧对收到的信息（视频，单帧或音频）进行分类
• 您可以使用群集技术查找音频或视频的类似部分

这方面的一个应用是商业移除。商业删除器通常采用聚类方法来消除电视视频中的商业广告部分。

Answer 3

音乐特征分析如今是一个很大的话题。想象一下可能性！ http://en.wikipedia.org/wiki/Music_information_retrieval

另外，请查看Conet项目：http://www.archive.org/details/ird059