Question

我试图在Hadoop 2.6下运行以下Spark示例，但是我收到以下错误：

INFO RMProxy：在/0.0.0.0:8032连接到ResourceManager，客户端进入循环尝试连接。我正在运行两台机器的集群，一台主机和一台机器。

./bin/spark-submit --class org.apache.spark.examples.SparkPi \
--master yarn-cluster \
--num-executors 3 \
--driver-memory 2g \
--executor-memory 2g \
--executor-cores 1 \
--queue thequeue \
lib/spark-examples*.jar \
10

这是我得到的错误：

15/12/06 13:38:28 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable  
15/12/06 13:38:29 INFO RMProxy: Connecting to ResourceManager at /0.0.0.0:8032  
15/12/06 13:38:30 INFO Client: Retrying connect to server: 0.0.0.0/0.0.0.0:8032. Already tried 0 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS)  
15/12/06 13:38:31 INFO Client: Retrying connect to server: 0.0.0.0/0.0.0.0:8032. Already tried 1 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS)   
15/12/06 13:38:32 INFO Client: Retrying connect to server: 0.0.0.0/0.0.0.0:8032. Already tried 2 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS)   
15/12/06 13:38:33 INFO Client: Retrying connect to server: 0.0.0.0/0.0.0.0:8032. Already tried 3 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS)   
15/12/06 13:38:34 INFO Client: Retrying connect to server: 0.0.0.0/0.0.0.0:8032. Already tried 4 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS)

JPS

hduser @ master：/ usr / local / spark $ jps

4930 ResourceManager 
4781 SecondaryNameNode 
5776 Jps 
4608 DataNode 
5058 NodeManager 
4245 Worker 
4045 Master

我的/ etc / host /

/etc/hosts

192.168.0.1 master 
192.168.0.2 slave

以下行适用于支持IPv6的主机

::1     ip6-localhost ip6-loopback 

fe00::0 ip6-localnet 

ff00::0 ip6-mcastprefix 

ff02::1 ip6-allnodes

Answer 1

当主机名配置不正确时，主要出现此错误...请检查主机名是否配置正确，与您在Resourcemanager中提到的相同...

Answer 2

我也遇到了同样的问题，我无法使用spark-submit提交spark作业。

问题是由于启动Spark作业时缺少HADOOP_CONF_DIR路径所以，无论何时提交作业，都要将HADOOP_CONF_DIR设置为适当的HADOOP CONF目录。喜欢导出HADOOP_CONF_DIR = / etc / hadoop / conf

Answer 3

您需要确保yarn-site.xml位于类路径上，并确保相关属性标记为true元素。

Answer 4

类似的出口HADOOP_CONF_DIR = / etc / hadoop / conf在我运行./bin/yarn-session.sh -n 2 -tm 2000时，对于我在flink上的情况是一个好主意。

Answer 5

正如您所见，here yarn.resourcemanager.address的计算基于yarn.resourcemanager.hostname，其默认值设为 0.0.0.0 。所以你应该正确配置它在Hadoop安装的基础上，编辑etc/hadoop/yarn-site.xml文件并添加此属性。

  <property>
    <name>yarn.resourcemanager.hostname</name>
    <value>localhost</value>
  </property>

再次执行start-yarn.sh会使您的新设置生效。

Answer 6

我遇到了同样的问题。我的原因是机器之间的时间不一样，因为我的资源管理器不在主机上。只有一秒钟的差异会导致纱线连接问题。几秒钟的差异可能导致您的名称节点和日期节点无法启动。使用ntpd配置时间同步以确保时间完全相同。

Hadoop 2.6在/0.0.0.0:8032连接到ResourceManager

6 个答案: