我正在研究Scala / Spark项目,我想将我的项目导出到jar文件中,并通过spark-submit将其运行到spark中。
我尝试了以下解决方案:
文件->项目结构->工件-> +-> Jar->从具有依赖性的模块中->浏览后选定的主类->选定的解压缩到目标jar-> META-INF的目录自动填充->确定->应用->确定->构建->构建工件->构建。
但是我在jar文件上找不到我的主类,所以我无法运行它。
答案 0 :(得分:3)
您可以遵循的基本思路:
在使用Scala时
您可以使用sbt
作为构建管理系统,将所有依赖项添加到项目中
您可以使用sbt assembly
插件来构建胖子罐
将此胖子罐导出到您的集群中以提交火花作业。
请使用Google获取更多详细信息...
或者您可以使用该项目https://github.com/khodeprasad/spark-scala-examples从sbt assembly
插件开始并进行集成,通过遵循其文档https://github.com/sbt/sbt-assembly