将scala-spark文件编译为jar文件

时间:2017-03-29 10:10:07

标签: eclipse scala apache-spark sbt

我正在研究频繁项目集的项目,我使用算法FP-Growth,我依赖于Scala-Spark开发的版本

https://github.com/apache/spark/blob/v2.1.0/mllib/src/main/scala/org/apache/spark/mllib/fpm/FPGrowth.scala

我需要修改这段代码并重新编译它以获得一个jar文件,我可以将它包含在Spark-shell中,并在spark中调用它的函数

问题是spark-shell是un解释器,并且它在这个文件中发现错误,我已经尝试了sbt with eclipse但它没有成功。 我需要的是编译器,可以使用最新版本的scala和spark-shel库将此文件编译为jar文件。

2 个答案:

答案 0 :(得分:1)

立即获得您的问题!

您需要做的就是为要使用自己jar的机器添加依赖项jar(scala,java等)。稍后将罐子添加到spark-shell中,你可以像下面一样使用它,

spark-shell --jars your_jar.jar

答案 1 :(得分:0)

请按照以下步骤操作:

  • 查看Spark存储库
  • 修改要修改的文件
  • 构建项目
  • 运行./dev/make-distribution.sh脚本,它位于Spark存储库
  • 从Spark发行版中运行Spark Shell