首先, 我跑
spark-shell --master yarn --jars myTestJar.jar
初始化spark-shell,然后导入myTestJar.jar中定义的类
import myTest.myclass
val test = new myclass
....
测试我的程序。
由于我不断更改代码,所以我启动了spark-shell并多次结束。(我确定每次分配不同的应用程序ID)
然后,这次我跑
spark-shell --master yarn
然后输入
import myTest.myclass
val test = new myclass
它有效!! ???而且我非常确定myclass只在myTestJar.jar中,没有其他重复的类名。因此,它会给测试和调整我的课程带来麻烦。对它为什么会发生的任何想法?谢谢!!!
BTW,我使用的是2.1.0.3。