通过Ubuntu 14.04进行Hadoop多节点集群手动安装

时间:2014-09-12 23:10:07

标签: linux ubuntu hadoop mapreduce

我是Hadoop的新手。对于我的College项目,我们有4个VM。我需要在此配置一个多模式Hadoop集群(1个主3个从服务器)并在其上运行我的webapp。我会在我的项目中使用HBase。通常CentOS用于安装和部署HDP,而我则获得了ubuntu。我无法使用Apache ambari插件进行安装,因为它在Ubuntu中不受支持。我需要手动部署它们,因此我试着寻找教程。 我找了一个在ubuntu上安装HDP多节点集群的教程,发现了这个[http://www.michael-noll.com/tutorials/running-hadoop-on-ubuntu-linux-multi-node-cluster/] 但它太过时了(2010) 我这里有官方文件,但我无法正确遵循。
[http://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.1-latest/bk_installing_manually_book/content/rpm-chap2-3.html]我试过跟踪它们。

有人可以建议我一些最新的链接,一个有大量屏幕截图的教程,用于在Ubuntu 14.04上安装多节点集群(12.04也没关系)。

非常感谢!!

2 个答案:

答案 0 :(得分:2)

我认为Michael Noll的教程太旧了。我找到了这个网站:

我的大学实验室里有一个迷你集群(有5个奴隶和一个主人)。 Ubuntu 12.04和Hadoop 2.5.0就在那里。此外,我在Ubuntu 12.04上的笔记本电脑中有一个VM群集(2个奴隶和一个主人)Hadoop 1.2.1。

但我无法在Ubuntu 14.04中安装Hadoop(任何版本)。我不记得原因,但我认为这是Java版本的一些问题(我不会检查)。

我希望能帮到你!

答案 1 :(得分:2)

我可以跨越同样的问题在Ubuntu 14.04上安装HDP 2.2,并找到了解决方案。 我在这里记录了所有内容:http://www.swiss-scalability.com/2014/12/install-hdp-22-on-ubuntu-1404-trusty.html

简而言之,魔术发生在这里:

sed -e "s/14.04/12.04/g" -i /etc/*-release

您可以安装或重启ambari-agent,它将能够与ambari-server通信。