我正在尝试按照https://dzone.com/articles/how-set-multi-node-hadoop
在EC2中安装多节点群集一切似乎都有效: 我有一个namenode和一个datanode,我运行了以下进程:
namenode:1389 NameNode,1687 JobTracker,1590 SecondaryNameNode datanode:1415 TaskTracker,1286 DataNode
我可以从“ec2-XX-XXX-XXX-XXX.compute-1.amazonaws.com:50070/dfshealth.jsp”查看namenode状态,并查看Jobtracker状态:“ec2-XX-XXX-XXX-XXX .compute-1.amazonaws.com:50030 / jobtracker.jsp“
当我尝试检查“ec2-XXX-XX-XXX-XXX-X.compute-1.amazonaws.com:50060/tasktracker.jsp”中的TaskTracker状态时出现问题,因为我收到了消息“页面不可用“。
我还尝试过运行mapreduce作业:
hadoop jar hadoop-examples-1.2.1.jar pi 10 1000000
但我收到了一个错误:
“文件/用户/ ubuntu / PiEstimator_TMP_3_141592654 / in / part0只能复制到0个节点,而不是1”
有人可以帮我吗?
由于
答案 0 :(得分:0)
您是否尝试将安全组中的入站流量设置为接受端口50070,50030和50060?
hadoop命令期待一个名为“hadoop-examples-1.2.1.jar”的jar任务。检查您是否有运行hadoop的示例jar文件。您可以在“http://www.java2s.com/Code/Jar/h/Downloadhadoopexamples121jar.htm”
下载jar文件