python - 在Zeppelin上增加Spark Executors

时间：2016-05-10 12:14:41

标签： python hadoop apache-spark yarn apache-zeppelin

我正在使用Hortnworks（HDP 2.4）设置群集。我有一个4节点集群，每个集群都有（16Gb-RAM，8-CPU）。我也使用Zeppelin Notebook安装了Spark，以便使用python（pyspark）。

我的问题是：我开始使用3个节点的配置，后来又添加了另一个新节点（如前所述，总共为4个），无论如何，Spark上的执行器数量仍然是＆＃34; 3＆＃34;。

我在网上看到执行程序的数量可在SPARK_EXECUTOR_INSTANCES中设置，但此参数仅存在于Ambari UI中Spark的配置页面的spark-env template中。似乎它要求YARN做出关于遗嘱执行人的决定，但在YARN中，我还没有发现任何关于此的事情。

明确地说，如何使用Ambari增加Hortonworks Hadoop集群中执行程序的数量？

答案 0 :(得分：6)

Pietro，你可以在Zeppelin上改变它。

在右上角，打开菜单，然后输入＆＃34; Interpreter＆＃34;配置。

有一个部分，名为＆＃34;口译员＆＃34;。最后一小节叫做＆＃34; spark＆＃34;，你应该在那里找到这个设置。

如果不是，只需插入它，编辑小节。

希望有所帮助。

答案 1 :(得分：2)

从右上角，点击向下箭头 - ＆gt;点击翻译 - ＆gt;找到spark2翻译 - ＆gt;编辑它 - ＆gt;添加以下两个：