在YARN中为apache zeppelin分配Spark内存

Question

我在YARN集群中通过Zeppelin运行Spark。当我看到我的YARN网络时，我看到了 Zeppelin使用1个容器，1个核心和1g内存。所以转到我的解释器设置，我将它们更改为：

spark.cores.max 8 
spark.executor.memory 8g 

我重启了解释器，但我的内存分配保持不变：

我的事件试图将解释器属性args添加到：

args --driver-memory 8G --executor-memory 8G --executor-cores 8

但也没有改变。

感谢任何建议。

Answer 1

两个选项

1. 编辑$ZEPPELIN_HOME/conf/zeppelin-env.sh，添加export SPARK_SUBMIT_OPTIONS="--num-executors 10 --driver-memory 8g --executor-memory 10g --executor-cores 4 "。

   • 如果您没有zeppelin-env.sh，请复制zeppelin-env.sh.template并将其重命名为zeppelin-env.sh。

2. 编辑$SPARK_CONF_DIR/spark-defaults.conf并修改要添加的内容。

然后，重新启动服务器。

Answer 2

这是齐柏林飞艇0.7.x的错误，0.8.0已修复此问题。