在ec2上安装了hadoop

时间:2016-02-27 20:38:22

标签: hadoop amazon-web-services amazon-ec2

我正在尝试按照https://dzone.com/articles/how-set-multi-node-hadoop

在EC2中安装多节点群集

一切似乎都有效: 我有一个namenode和一个datanode,我运行了以下进程:

namenode:1389 NameNode,1687 JobTracker,1590 SecondaryNameNode datanode:1415 TaskTracker,1286 DataNode

我可以从“ec2-XX-XXX-XXX-XXX.compute-1.amazonaws.com:50070/dfshealth.jsp”查看namenode状态,并查看Jobtracker状态:“ec2-XX-XXX-XXX-XXX .compute-1.amazonaws.com:50030 / jobtracker.jsp“

当我尝试检查“ec2-XXX-XX-XXX-XXX-X.compute-1.amazonaws.com:50060/tasktracker.jsp”中的TaskTracker状态时出现问题,因为我收到了消息“页面不可用“。

我还尝试过运行mapreduce作业:

hadoop jar hadoop-examples-1.2.1.jar pi 10 1000000

但我收到了一个错误:

“文件/用户/ ubuntu / PiEstimator_TMP_3_141592654 / in / part0只能复制到0个节点,而不是1”

有人可以帮我吗?

由于

1 个答案:

答案 0 :(得分:0)

您是否尝试将安全组中的入站流量设置为接受端口50070,50030和50060?

hadoop命令期待一个名为“hadoop-examples-1.2.1.jar”的jar任务。检查您是否有运行hadoop的示例jar文件。您可以在“http://www.java2s.com/Code/Jar/h/Downloadhadoopexamples121jar.htm

下载jar文件