Spark-shell添加jar导入类不正确

时间:2017-11-01 00:14:26

标签: scala shell apache-spark jar yarn

当我在Spark-shell中测试我的jar时,发生了一些非常神奇的事情。

首先, 我跑

spark-shell --master yarn --jars myTestJar.jar

初始化spark-shell,然后导入myTestJar.jar中定义的类

import myTest.myclass
val test = new myclass
....

测试我的程序。

由于我不断更改代码,所以我启动了spark-shell并多次结束。(我确定每次分配不同的应用程序ID)

然后,这次我跑

spark-shell --master yarn

然后输入

import myTest.myclass
val test = new myclass

它有效!! ???而且我非常确定myclass只在myTestJar.jar中,没有其他重复的类名。因此,它会给测试和调整我的课程带来麻烦。对它为什么会发生的任何想法?谢谢!!!

BTW,我使用的是2.1.0.3。

0 个答案:

没有答案