我正在研究频繁项目集的项目,我使用算法FP-Growth,我依赖于Scala-Spark开发的版本
我需要修改这段代码并重新编译它以获得一个jar文件,我可以将它包含在Spark-shell中,并在spark中调用它的函数
问题是spark-shell是un解释器,并且它在这个文件中发现错误,我已经尝试了sbt with eclipse但它没有成功。 我需要的是编译器,可以使用最新版本的scala和spark-shel库将此文件编译为jar文件。
答案 0 :(得分:1)
立即获得您的问题!
您需要做的就是为要使用自己jar的机器添加依赖项jar(scala,java等)。稍后将罐子添加到spark-shell中,你可以像下面一样使用它,
spark-shell --jars your_jar.jar
答案 1 :(得分:0)
请按照以下步骤操作:
./dev/make-distribution.sh
脚本,它位于Spark存储库