spark-submit如何指定依赖库在应用程序的jar中

Question

我正在为我的计算机上的2工作集群运行的Spark 2.1.0构建一个小测试应用程序，并在我的应用程序的jar文件中包装依赖库。如何在spark-submit期间告诉Spark应用程序的jar文件中的库？否则我在线程“main”java.lang.NoClassDefFoundError。

中得到Exception

或者依赖库是否应该复制到Spark？

提前致谢。

Answer 1

更简单的方法是构建一个超级jar - 将pom中的所有依赖项添加到jar中。

另一种最好的方法是 -

1. 在群集类路径中使用特定于spark的jar（in pom使它们成为范围）
2. 任何第三方图书馆都可以 添加使用＆＃34; - jars /fullpath/your.jar"提交火花或通过 spark.driver.extraLibraryPath，spark.driver.extraClassPath， spark.executor.extraClassPath，spark.executor.extraLibraryPath as 如上所述。