Question

我正试图在Windows上运行apache spark。有人可以给我一步一步的指示来做到这一点。我已经下载了spark，sbt和scala。有人可以一步一步地给出。我想将它作为独立程序运行

Answer 1

如果你使用sbt方法构建，那么你也需要git 在您的计算机上安装Scala，sbt和git。下载Spark源代码并运行以下命令

sbt assembly

如果你使用预建版本，这是一步一步的过程：
How to run Apache Spark on Windows7 in standalone mode

Answer 2

您可以找到分步指南Here。在sigmoidanalytics网站。但是不同版本的火花是不同的。
如果您正在尝试使用eclipse来构建使用maven spark依赖的独立应用程序，则必须安装cygwin并将cygwin / bin添加到您的路径中，因为Spark使用linux命令“ ls ”进行查找文件权限。

Answer 3

取决于您尝试运行的内容。如果尝试运行Spark Shell，请按照说明操作 http://nishutayaltech.blogspot.co.uk/2015/04/how-to-run-apache-spark-on-windows7-in.html

如果尝试运行自己的spark作业，请在（JAVA / SCALA / Python）中创建一个简单的应用程序。我使用Scala进行开发，因此在Scala中包含了以下库：

"org.apache.spark" %% "spark-core" % "2.1.0",
"org.apache.spark" %% "spark-sql" % "2.1.0",
"org.apache.spark" %% "spark-streaming" % "2.1.0",

然后编写一个简单的主要方法来测试它：

 object MainProcessorJob extends App {
 private val applicationName = "FileProcessor"
 private val cores = "local[5]"
 private val intervalSecs = 1
 start()
 def start(): Unit = {
 val sparkConf = new SparkConf(true)
 val sparkContext = new SparkContext(cores, applicationName, sparkConf)
 ----------
}

您应该可以右键单击并在intelliJ / eclipse中运行它。

在Windows上运行Apache Spark

3 个答案: