我在Java中开发了一种处理大数据集的算法。使用Eclipse。现在我想利用Spark Apache。如何在Spark环境下运行此算法?我需要什么工具,如何将Eclipse连接到Spark? 顺便说一句,我按照Edx网站的课程,在VirtualBox和Vagrant上安装了Spark作为本地服务器。但我不知道如何将它连接到我用Eclipse开发的算法。 谢谢
答案 0 :(得分:3)
你必须使用“spark-submit”命令在spark集群中运行。
./bin/spark-submit --class <main-class> --master <master-url> <application-jar> [application-arguments]