试图加载jar和外部类

Question

在我的zeppelin-env.sh中，我正在将一个JDBC MySQL连接器加载为jar，如下所示

export ZEPPELIN_JAVA_OPTS+=" -Dspark.jars=/usr/local/opt/mysql-connector-java/libexec/mysql-connector-java-5.1.32-bin.jar"

此外，我想加载Databricks CSV软件包，它应该以2种（或更多种）方式工作：

1. %dep z.load("com.databricks:spark-csv_2.10:1.2.0")
2. export SPARK_SUBMIT_OPTIONS="--packages com.databricks:spark-csv_2.10:1.2.0"

第一个是在设置否 SPARK_HOME时工作，SPARK_SUBMIT_OPTIONS但是只有在外部Spark home 设置时才会考虑。

如何在不使用设置SPARK_HOME的情况下加载databricks CSV软件包，或者如何在不设置{{}的情况下加载使用嵌入式Spark库时包含的所有其他jar文件1}}？

我实际上更喜欢使用单独的Spark安装，我可以独立于Zeppelin进行更新，但是我担心在坚持使用嵌入式Spark时我没有兼容性。

Answer 1

所以我确实使用外部Spark安装设置了SPARK_HOME，这似乎更快，并且非常容易安装w / brew install apache-spark。

  

阅读documentation会对我有所帮助

只需在SPARK_SUBMIT_OPTIONS中添加--jars选项，您可以在其中指定要加载的JAR。或者，创建一个SPARK_HOME/conf/spark-defaults.conf文件，您可以在其中指定要加载的文件，包和jar。