试图建立伪dist hadoop集群感到沮丧

时间:2014-03-25 19:48:53

标签: hadoop mapreduce

我花了8个小时试图建立我的Hadoop集群,说实话,它变得筋疲力尽。它不仅仅是今天。确切地说,它已经过了几周。我已经尝试过在网络上获得的20-30种不同的教程,每一次,我都会遇到错误......比如SSH连接问题或JVM失败或PATH问题或最糟糕的(WARN util.NativeCodeLoader:Unable)为您的平台加载native-hadoop库...使用适用的builtin-java类...等等。所有这些导致我重置我的VMplayer并一遍又一遍地重新安装Ubuntu。

我正在努力获得Hadoop开发人员认证,我需要从MapReduce& amp; Hadoop到生态系统(Hive,PIG等)。我现在唯一能做的就是设置集群进行练习。我已经用完了选项

我的问题是,有没有办法(更容易,但任何人都会这样做)安装Hadoop MapReduce版本2(YARN)而不会拔掉我的头发?我真的很喜欢一些已被证明是一致的并且已经为多人服务的东西。

Ubuntu上的64位

编辑:提前感谢所有人

2 个答案:

答案 0 :(得分:0)

您尚未说明您使用的是vanilla Hadoop还是分发版。如果你使用的是vanilla Apache Hadoop版本,你可能想尝试像CDH这样的发行版。

CDH5B2 Documentation专门解决了如何在Ubuntu中执行安装的问题。该发行版包含YARN,Spark,Hive,Pig,Sqoop,Flume等,因此它可以满足您的所有需求。

答案 1 :(得分:0)

谢谢你。你让我走上正确的道路。

对于那些对开发感兴趣的人,请到这里

http://www.cloudera.com/content/support/en/downloads/download-components/download-products.html?productID=F6mO278Rvo

它会为你节省很多痛苦。

Hadoop视频说明 http://www.youtube.com/watch?v=o19zLaTuuSk