通过zeppelin web ui将命令行参数传递给spark提交

Question

我想配置zeppeline spark解释器。我想通过我的zeppelin ui解释器将--conf "spark.cassandra.connection.host=<ip>" --conf "spark.cassandra.input.split.size_in_mb=32" and --jars $(echo /home/sysadmin/ApacheSpark/jar/*.jar | tr ' ' ',')选项传递给spark提交。

我怎样才能通过它们？ 由于我有很多cassandra机器，我想创建多个spark解释器，因此不希望在zeppelin-env文件中添加配置here.

Answer 1

您可以使用inline configuration来做到这一点，这非常简单直观。

例如

%spark.conf

spark.jars. jar1,jar2
spark.cassandra.connection.host <ip>
spark.cassandra.input.split.size_in_mb 32