Question

我有一个使用Hadoop和Spark的多节点配置。我已经确认已经使用http：// my ip：8080 /，http：// my ip：50070创建了一个工作节点。然后，我运行了命令“spark-submit --class com.exsparkbasic.ExSparkBasic - 主节点上的master yarn-cluster~ / Wordcount.jar 10“。但是，“INFO客户端：application_1522727995839_0002的应用程序报告（状态：已接受）”继续出现。是什么原因？

INFO客户端

 INFO Client:
         client token: N/A
         diagnostics: N/A
         ApplicationMaster host: N/A
         ApplicationMaster RPC port: -1
         queue: default
         start time: 1522728042534
         final status: UNDEFINED
         tracking URL: http://Myip:8088/proxy/application_1522727995839_0001/
         user: My_user

我的yarn-site.xml。

<configuration>

<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>master:8025</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>master:8030</value>
</property>

<property>
<name>yarn.resourcemanager.address</name>
<value>master:8032</value>
</property>

<!-- Site specific YARN configuration properties -->

<property>
<name>yarn.scheduler.maximum-allocation-mb</name>
<value>1536</value>
</property>



</configuration>

火花纱簇模式（WordCount示例）

0 个答案: