想象一下,你正在使用spark-shell工作时间,你有现有的Dataframes,你不想丢失它们,后来你发现你需要来自另一个jar的东西......
在使用--packages再次加载之前,我是否必须终止现有的spark-shell会话?
答案 0 :(得分:1)
在使用--packages再次加载之前,我是否必须终止现有的spark-shell会话?
我怀疑spark-shell
是否可以使用所有"好东西"使Spark能够很好地使用Scala implicits等。
即使你设法创建一个SparkContext
或SparkSession
加载了新的jar文件,你已经创建了现有的数据结构?他们使用另一个"不兼容的"会话因此会变得无法使用(或者会导致很难跟踪类加载器问题)。
所以,是的,我建议离开现有的spark-shell
会话并重新开始。