Spark驱动器在纱线集群上占用全部资源

时间:2016-08-30 11:54:30

标签: apache-spark apache-spark-sql yarn

我们将纱线集群模式中的多个火花作业同时提交给纱线队列。我们目前面临的问题是驱动程序正在为所有作业进行初始化,并且没有剩余资源用于执行程序的初始化。

<property>
 <name>yarn.scheduler.capacity.maximum-am-resource-percent</name>          <value>0.5</value>
  <description>
      Maximum percent of resources in the cluster which can be used to run 
      application masters i.e. controls a number of concurrently running
      applications.
  </description>
</property>

根据此属性,只有50%的资源可用于应用程序主服务器,但在我们的情况下,这不起作用。 有任何解决这个问题的建议。

0 个答案:

没有答案