Yarn-Client模式下的Spark PI作业停留在ACCEPTED状态

时间:2018-10-11 12:14:47

标签: apache-spark yarn hortonworks-data-platform

我正在用yarn-client模式下的spark-submit命令运行示例Spark PI Job。当驱动程序在运行客户端的同一节点上提交作业时,我的作业运行良好。

  

示例:如果我从node1运行我的spark提交作业,并且该节点   管理器在node1本身上启动,然后运行正常。但是如果我做这份工作   从节点1开始,节点管理器在节点2上启动,然后应用程序停留在   接受状态。

我经历过的大多数答案都说明了工作没有得到资源。我正在使用以下命令

运行Spark PI命令

我检查了所有资源,在一台16GB,4核计算机上,我有10GB的可用空间,并且CPU利用率低于30%

spark-submit --class org.apache.spark.examples.SparkPi --master yarn --num-executors 1 --driver-memory 512m --executor-memory 512m --executor-cores 1 spark-examples*.jar 100

我只要求最少的资源,但我的工作仍然处于“接受”状态。

0 个答案:

没有答案