如何在自定义算法中利用Spark功能?

时间:2015-11-30 16:39:56

标签: java eclipse apache-spark

我在Java中开发了一种处理大数据集的算法。使用Eclipse。现在我想利用Spark Apache。如何在Spark环境下运行此算法?我需要什么工具,如何将Eclipse连接到Spark? 顺便说一句,我按照Edx网站的课程,在VirtualBox和Vagrant上安装了Spark作为本地服务器。但我不知道如何将它连接到我用Eclipse开发的算法。 谢谢

1 个答案:

答案 0 :(得分:3)

你必须使用“spark-submit”命令在spark集群中运行。

./bin/spark-submit --class <main-class> --master <master-url>  <application-jar>      [application-arguments]