在项目中存储和处理数百万个图像

时间:2013-08-27 07:19:20

标签: image image-processing neural-network distributed-computing bigdata

我有一个会产生大量图像的项目。 (1 000 000对不起) 我需要通过算法处理每个图像。 你能告诉我这个项目的结构吗?

它是计算机视觉领域的专有算法。

图像的平均大小接近20 kB 我需要在上传时处理它们,并根据要求处理1或2次。 平均而言,每天一次我得到一百万张图片,每张图片我需要每天浏览1-2次算法。

最常见的是,图像将存储在本地磁盘上

当我处理图像时,我将生成新图像。

当前视图:

我很可能会为每个必须执行上述过程的服务器安装一些服务器(我不拥有)。 服务器之间的互联网带宽非常薄(大约1 Mb \ s)但对我来说,有必要在服务器之间交换消息(更新神经网络的系数)和更新算法。

在目前的硬件(英特尔家族6型号26)上,完成50 000张图像的完整程序大约需要10分钟。

可能是

广泛的通道频道将在哪里,因此我可以将此图像上传到我拥有的服务器。

1 个答案:

答案 0 :(得分:0)

不太了解图片。但我想这应该有助http://www.cloudera.com/content/cloudera/en/why-cloudera/hadoop-and-big-data.html

另外,请告诉我们您在谈论什么样的处理以及何时说出大量图片。你对每小时或每天的期望是多少?