在Jupyter Notebook中将Jar动态加载到Spark驱动程序

Question

我想将一个jar文件动态加载到Juptyer（Scala）中的Spark驱动程序。 sparkContext.addJar方法似乎将其加载到执行程序。有没有办法将其加载到驱动程序？

谢谢， 克里希纳

Answer 1

在启动spark-shell之前，将jar添加到SPARK_CLASSPATH环境变量。

conf / spark-env.sh在您的库中包含一个JAR。

更多details

Answer 2

不幸的是，这不可能-https://issues.apache.org/jira/browse/SPARK-5377