在办公室计算机上运行Hadoop软件(当它们空闲时)

时间:2012-04-14 05:06:49

标签: hadoop mapreduce cluster-computing hbase

是否有一个项目有助于在办公桌面上闲置时设置Hadoop集群?

我想尝试使用Hadoop / MR / hbase,但无法访问5-10台计算机。工作中的计算机在数小时后处于空闲状态,并通过非常高速的连接相互连接。更重要的是,这些计算机上的数据保留在我们的网络中,因此没有隐私问题。

为了使其工作,我需要在每台机器上运行相当轻量级的显示器。当计算机空闲X小时后,它将加入群集。如果用户登录,则必须退出群集并返回所有CPU /内存。

这样的事情是否存在?

5 个答案:

答案 0 :(得分:3)

您可以使用任务计划程序检测空闲状态,然后使用虚拟框或vmplayer启动/停止hadoop vm。或者你可以根据资源使用情况编写一个启动停止的powershell脚本。

答案 1 :(得分:1)

Hadoop不是计算网格,它更像是一个数据网格(参见this presentation中的幻灯片9)。重点是,使用hadoop,数据分布在集群上,因此数据必须存储在计算机上。将数据复制到/无法闲置时所花费的时间可能不值得 - 你最好在云中使用hadoop(亚马逊,Azure等)。

答案 2 :(得分:1)

我会使用像Condor这样的东西:http://research.cs.wisc.edu/condor/

答案 3 :(得分:1)

您可能想看看弗吉尼亚理工大学的Project Moon http://www.wired.com/wiredenterprise/2012/05/project_moon/

答案 4 :(得分:0)

查看像NEREUS这样的解决方案,它是Java中的一个优秀的MPC解决方案