Question

我无法将自定义依赖性添加到齐柏林飞艇的spark类路径中。

环境： AWS EMR：Zeppelin 0.8.0，Spark 2.4.0

用于火花解释器的其他配置：

spark.jars.ivySettings  /tmp/ivy-settings.xml
spark.jars.packages my-group-name:artifact_2.11:version

my-group-name中的文件出现在

spark.yarn.dist.jars
spark.yarn.secondary.jars

但无法通过齐柏林飞艇笔记本电脑访问（通过import my.lab._检查）

但是，当我为spark-shell运行相同的配置时，它既在本地计算机上运行，又在emr群集上运行ssh 并可以从spark-shell导入

齐柏林飞艇的Sun.java.command：

org.apache.spark.deploy.SparkSubmit --master yarn-client ... --conf spark.jars.packages=my-group-name:artifact_2.11:version ... --conf spark.jars.ivySettings=/tmp/ivy-settings.xml ... --class org.apache.zeppelin.interpreter.remote.RemoteInterpreterServer /usr/lib/zeppelin/interpreter/spark/spark-interpreter-0.8.0.jar <IP ADDRESS> 34717 :

在emr上火花提交：

spark-shell --master yarn-client --conf spark.jars.ivySettings="/tmp/ivy-settings.xml" --conf spark.jars.packages="my-group-name:artifact_2.11:version"

有人建议在哪里查找错误吗？

Answer 1

您可以尝试在“解释器”设置中将罐子直接添加到Zeppelin中。 http://zeppelin.apache.org/docs/0.8.0/usage/interpreter/dependency_management.html

或者，将jar添加到spark库（在我的情况下是/ usr / hdp / current / spark2 / jars /目录）。

依存关系未添加到Spark + Zeppelin

1 个答案: