Question

我在scala中编写了一个自定义spark库。通过生成集群并运行以下命令，我能够成功地将其作为spark-submit步骤运行。在这里，我首先得到我的2罐 -

aws s3 cp s3://jars/RedshiftJDBC42-1.2.10.1009.jar .
aws s3 cp s3://jars/CustomJar .

然后我按照

运行我的火花工作

spark-submit --deploy-mode client --jars RedshiftJDBC42-1.2.10.1009.jar --packages com.databricks:spark-redshift_2.11:3.0.0-preview1,com.databricks:spark-avro_2.11:3.2.0 --class com.activities.CustomObject CustomJar.jar

这会成功运行我的CustomObject。我想在Zeppelin中运行类似的东西，但我不知道如何添加jar然后运行spark-submit步骤？

Answer 1

您可以将这些依赖项添加到Zeppelin中的Spark解释器：

转到＆＃34;口译员＆＃34;
选择编辑并添加jar文件
重新启动解释程序

更多信息here

修改的您可能还想使用%dep段来访问z变量（这是一个隐含的Zeppeling上下文），以便执行以下操作：

%dep
z.load("/some_absolute_path/myjar.jar")

在Zeppelin上运行Spark Job

1 个答案: