Hadoop可以限制为备用CPU周期吗?

时间:2009-10-22 13:49:53

标签: hadoop

是否可以运行Hadoop以便它只使用备用CPU周期?即是否可以在人们的工作机器上安装Hadoop,以便在他们不使用PC时可以完成数字运算,并且他们不会遇到明显的性能消耗(除了粉丝!)。

也许只是将JVM设置为以低优先级运行而不使用“太多”网络(假设在Windows机器上可以这样做)?

如果没有,是否有人知道BOINC之类的任何Java等价物?

编辑:找到循环清理基础设施列表here。虽然我对Hadoop的质疑仍然存在。

2 个答案:

答案 0 :(得分:4)

这远远超出了Hadoop的预期用途。 Hadoop期望其所有节点都可以完全可用并联网以获得最佳吞吐量 - 这不是您使用工作站获得的。此外,它甚至没有在Windows中运行(您可以将它与cygwin一起使用,但我不知道有人将其用于“生产” - 除了作为发布工作的客户端机器)。

Hadoop会在一些节点上执行存储数据块的操作,并尝试在这些节点上安排对该数据的所有计算;在工作共享环境中,这意味着需要此数据的任务将要在这三个工作站上运行 - 无论用户目前正在做什么。相比之下,“循环清理”项目将所有数据保存在其他位置,并将其和任务发送到在给定时刻可用的任何节点;这使他们能够更好地使用机器,但它会产生明显的数据传输成本。

答案 1 :(得分:0)

也许兵马俑更像是你的胡同?

Terracotta Product Link