使用hadoop

时间:2015-07-04 15:21:38

标签: java hadoop yarn apache-tez

以下是我所做的一切:

第1步:我已在笔记本电脑上成功配置了hadoop 2.6(单节点),并运行了一个示例mapreduce作业。

第2步:我克隆了tez存储库并成功构建了0.8.0版本并将jar文件复制到HDFS并导出所需的变量。我还在 mapred-site.xml 中将变量mapreduce.framework.name的值更改为yarn-tez

但是当我想运行tez orderedwordcount作业时,我收到了这个错误:

15/07/04 18:45:03 INFO ipc.Client: Retrying connect to server: hostname/hostIP:57339. 
Already tried 9 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS)
15/07/04 18:45:12 INFO client.DAGClientImpl: DAG completed. FinalState=FAILED

我检查过资源管理器,它正在侦听端口8030。 但似乎客户端尝试连接到随机端口。这是对的吗?

我能做些什么才能让它正常工作?

2 个答案:

答案 0 :(得分:0)

似乎是这个版本(0.8.0)连接到资源管理器的问题。我编译并集成了之前的稳定版本(0.7.0),现在一切都很好。我希望他们能解决问题。

答案 1 :(得分:0)

从您的日志中看起来似乎是防火墙问题,而不是Tez版本的问题。它与Tez无关,即使你只运行Hadoop,你也可以面对这一点。

Hadoop使用多个端口与客户端和服务组件之间进行通信。要启用Hadoop通信,请打开Hadoop使用的特定端口。 要打开特定端口,可以在Windows中设置访问规则。例如,以下命令将在活动的Windows防火墙中打开端口80:

netsh advfirewall防火墙添加规则名称= AllowRPCCommunication dir = in action = allow protocol = TCP localport = 80

有关详情,请参阅此处http://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.3.0-Win/bk_HDP_Install_Win/content/ref-79239257-778e-42a9-9059-d982d0c08885.1.html