SPARK_SUBMIT_OPTIONS在Apache Zeppelin 0.7.3中不起作用

时间:2018-04-12 09:22:43

标签: apache-spark apache-zeppelin

尝试在using System.Web.Script.Serialization; public void getAllDirectoryNames() { string paths = "~CrystalReportFiles/"; List<GetFolderDetails> details = new List<GetFolderDetails>(); // Add items to details list // Serialize the list using Newtonsoft // var jsonString = Newtonsoft.Json.JsonConvert.SerializeObject(details); // Serialize the list using System.Web.Script.Serialization var jsonString = new JavaScriptSerializer().Serialize(details); // Send the response back to ajax success callback Response.Write(jsonString); } 群集上运行Spark Zeppelin,我在Yarn中设置了以下变量:

zeppeline-env.sh

但它在YARN上部署作业时没有使用export HADOOP_CONF_DIR=/opt/hadoop/etc/hadoop export SPARK_HOME=/opt/spark export SPARK_SUBMIT_OPTIONS="--executor-memory 512m --driver-memory 512m --executor-cores 2 --queue onlineQ" 值!例如,SPARK_SUBMIT_OPTIONS默认为executor-memory。当我在Zeppelin 1024m设置中设置executor-memory时,它将被应用。因为我应该为Spark Submit设置interpreter属性,是否还有其他方法(比SPARK_SUBMIT_OPTIONS变量)设置它?

1 个答案:

答案 0 :(得分:1)

您可以设置火花解释器设置。

spark.driver.memory等。

此处提供更多信息:https://zeppelin.apache.org/docs/0.7.2/interpreter/spark.html#configuration