标签: java scala apache-spark
我正在阅读spark文档,现在我在submitting-application部分。他们说:
如果您的代码依赖于其他项目,则需要打包它们 与您的应用程序一起将代码分发给Spark 簇。为此, 创建一个包含 的程序集jar(或“uber”jar) 您的代码及其依赖项 。
有必要吗?为什么我们不能使用程序集插件并将依赖项放入lib/目录,然后将其添加到驱动程序类路径?
lib/