如何将Scala Spark项目导出到jar

时间:2019-04-12 10:17:35

标签: scala apache-spark intellij-idea sbt

我正在研究Scala / Spark项目,我想将我的项目导出到jar文件中,并通过spark-submit将其运行到spark中。
我尝试了以下解决方案:
文件->项目结构->工件-> +-> Jar->从具有依赖性的模块中->浏览后选定的主类->选定的解压缩到目标jar-> META-INF的目录自动填充->确定->应用->确定->构建->构建工件->构建。
但是我在jar文件上找不到我的主类,所以我无法运行它。

1 个答案:

答案 0 :(得分:3)

您可以遵循的基本思路:

在使用Scala时

  • 您可以使用sbt作为构建管理系统,将所有依赖项添加到项目中

  • 您可以使用sbt assembly插件来构建胖子罐

  • 将此胖子罐导出到您的集群中以提交火花作业。

请使用Google获取更多详细信息...

或者您可以使用该项目https://github.com/khodeprasad/spark-scala-examplessbt assembly插件开始并进行集成,通过遵循其文档https://github.com/sbt/sbt-assembly

创建胖子