如何在HDFS hadoop上存储和处理视频数据

时间:2013-12-13 17:00:57

标签: hadoop mapreduce hadoop-plugins

我有一个视频文件。我已经将这个视频转换为带有Xuggler的图像帧集现在我必须阅读每一帧图像并需要进行一些处理。假设我们有2000个这样的图像(我正在使用Xuggler-这会将视频转换为图像然后将图像转换为视频)。现在先说一下Image,我必须在给定的坐标上绘制一个矩形。一旦图像的所有处理都结束,那么所有图像都会被Xuggler工具转换为视频。

视频文件非常庞大,如5TB甚至更多。我想在Hadoop mapreduce上做所有的图像处理工作。我找到了一个专门用于Hadoop中的图像处理的API HIPI。

但HIPI不支持添加MetaData信息。我需要一些与每个Image关联的元数据信息,以便在Mapper中我可以找出IMAGE ID,然后根据我给定的参考文件处理该图像ID     注意:我有一个参考文件,其中包含图像编号,图像位置坐标等信息。所以在MapTask中,当我得到任何特定的图像说图像编号10然后我做一些图像处理,如绘制给定坐标的形状等

如果我使用HIPI,地图任务包含ImageHeader作为Key和FloatImage作为值。在ImageHeader中我没有任何信息(甚至没有文件名)。所以我无法将hdfs分布式文件与参考数据进行比较我有

我们还有其他更好的方法吗?

0 个答案:

没有答案