在群集上具有不同版本的依赖关系构建jar

时间:2019-07-18 20:55:30

标签: scala maven apache-spark dependencies xgboost

我正在本地使用Maven(也尝试过gradle)建造一个胖子罐。我的代码在scala中,它正在使用spark。对于其中一个依赖项(xgboost4j-spark),我使用版本0.82来构建jar,但是在运行此jar的群集上,我具有版本0.72。我以

运行

spark-submit --class <MainClass> code.jar

在群集上运行时,它使用的是0.72版,尽管在jar中我应该使用0.82版。

为什么它不使用构建罐子的版本?

0 个答案:

没有答案