Zeppelin pyspark解释器无法在YARN中提交申请

Question

环境：AWS EMR emr-5.11.1，Zeppelin 0.7.3，Spark 2.2.1

问题：Zeppelin pyspark解释器未在YARN中将作业作为应用程序提交

根据this，我进行了以下更改，但没有任何效果

1. 设置SPARK_HOME
   

2. 添加了spark.executer.memory = 5g，spark.cores.max，
   zeppelin的pyspark解释器选项卡中的master = yarn-client，spark.home
   

3. 在yarn-site.xml中添加了spark.dynamicAllocation.enabled = true

4. 重新启动解释程序和齐柏林飞艇程序

请帮助

Answer 1

解决方案1 ​​

我有相同的问题，请升级到0.8.0，最新版本可解决该问题。

解决方案2

编辑$ZEPPELIN_HOME/conf/zeppelin-env.sh，添加导出SPARK_SUBMIT_OPTIONS="--num-executors 10 --driver-memory 8g --executor-memory 10g --executor-cores 4“。

  

如果您没有zeppelin-env.sh，请复制zeppelin-env.sh.template并将其重命名为zeppelin-env.sh。

解决方案3

编辑$SPARK_CONF_DIR/spark-defaults.conf并修改要添加的内容。

然后，重新启动服务器。