有没有办法在现有的spark-shell会话中加载jar而不杀死它?

时间:2017-05-22 14:34:19

标签: apache-spark

想象一下,你正在使用spark-shell工作时间,你有现有的Dataframes,你不想丢失它们,后来你发现你需要来自另一个jar的东西......

在使用--packages再次加载之前,我是否必须终止现有的spark-shell会话?

1 个答案:

答案 0 :(得分:1)

  

在使用--packages再次加载之前,我是否必须终止现有的spark-shell会话?

我怀疑spark-shell是否可以使用所有"好东西"使Spark能够很好地使用Scala implicits等。

即使你设法创建一个SparkContextSparkSession加载了新的jar文件,你已经创建了现有的数据结构?他们使用另一个"不兼容的"会话因此会变得无法使用(或者会导致很难跟踪类加载器问题)。

所以,是的,我建议离开现有的spark-shell会话并重新开始。