在Mac上运行Scala Spark应用程序

Question

我使用Homebrew安装了Spark和Scala。我可以运行Spark-shell。我还通过将它放在usr/local/share中来安装Spark-IDE（不确定这是正确的方法）并在Applications文件夹中添加一个符号链接。现在我想在Eclipse中运行用Scala编写的Spark应用程序;我该怎么做？

Answer 1

如何创建和运行Apache Spark作业的常用方法是：

1，创建包 - 通常是 jar文件 - 你可以用maven包装它。例如。

2，spark-submit开始并提交作业

• 您的火花作业应该如何（或正确地在哪里）运行的方式很少 - 通常由主人
定义
• 所以，当你有一个jar包与你的工作，你可以去spark文件夹/ bin - 有spark-submit

./bin/spark-submit --class MainClass.class --master local[2] <application-jar>，其中

<application-jar>是你的火花作业包作为jar文件

作业的

MainClass.class入口点

master - apache spark作业通常会提交给集群，但出于测试目的，您可以使用local作为主服务器。这里的数字定义了作业执行的线程数。

• 如果你想在eclipse中启动spark应用程序（例如作为测试），你只需以编程方式创建SparkContext - 使用SparkConf将local设置为master并运行（我认为spark需要HADOOP_HOME环境变量 - 在案例只需下载hadoop并设置$HADOOP_HOME）