在异构环境中设置2节点Hadoop集群,即一台64位机器和另一台32位机器?

时间:2014-05-03 03:26:49

标签: hadoop cluster-computing bigdata cloudera windows-clustering

为了我的学习,我计划创建一个2节点的Cloudera Hadoop集群。我有一台32位Windows XP机器,现在我买了一台64位Windows 8机器(现在所有的机器都是64位的机器)。

所以我有两个选择:

  1. 在64位计算机(i5处理器和8 GB RAM)中创建虚拟群集。但是,我不确定它是否会挂起(我不是要处理数百万条记录。我的座右铭是简单地处理几个文件并检查Hadoop功能还从Oracle转储一些数据并玩游戏)。
  2. 我可以在64位和32位机器之间创建一个物理Hadoop集群。但我的问题是,它是可行的选择(我可以在两台机器之间创建Hadoop集群:一个32位和另一个64位)?如果是这样,过程是什么?我不太了解网络。
  3. 我还有一个基本问题,运行2节点虚拟集群的基本RAM和处理器配置应该是什么,只需加载少量数据并检查功能即可实现?

1 个答案:

答案 0 :(得分:0)

这取决于你使用的hadoop版本如果版本支持32位然后它不能与64位机器一起使用但是如果它支持64位则它将在该机器上运行。除此之外,您还应该检查您的jdk版本安装。如果这两台机器都有32位jdk,那么支持32位的hadoop版本可能无论机器如何都可以工作。

我不确定,但它完全取决于jdk,因为它将在操作系统的顶部。

1. install 32 bit jdk on both the machines.
2. install older 32 bit hadoop version on both the machines.

我认为这对您和

都有效