我使用Zeppelin来添加几个附加参数来启动Spark( - total-executor-cores 200 --executor-memory 20g --driver-memory 5g)我试图通过Zeppelin UI将这些参数添加到spark解释器中。我点击编辑按钮并添加这三个参数但是当我点击保存时它们会消失,我可以看到我的Spark是由Zeppelin启动的,没有这些参数。
你能给我一个小贴士吗?我怎么能让Zeppelin用额外的参数启动Spark?
答案 0 :(得分:3)
查看conf/zeppelin-env.sh
(或conf/zeppelin-env.sh.template
)。在该文件的评论中," Spark解释器配置"部分:
# export SPARK_SUBMIT_OPTIONS # (optional) extra options to pass to spark submit. eg) "--driver-memory 512M --executor-memory 1G".