如何在Windows上配置Apache Spark?

时间:2016-02-25 12:58:38

标签: java eclipse scala apache-spark

我想在我的Windows机器上安装Apache Spark。我必须遵循Windows特定的步骤吗?

1 个答案:

答案 0 :(得分:3)

  1. the Spark website下载spark-1.6.0-bin-hadoop2.6.tgz并以7zip为例打开它。

  2. 将其解压缩到一个文件夹,例如C :) \ sparktest。所以我的结构现在是C:\ SparkTest \ spark-1.6.0-bin-hadoop2.6 \

  3. 我们为Windows下载hadoop2.6.0: https://www.barik.net/archive/2015/01/19/172716/

  4. 我们在某处提取它。

  5. 在Spark基本文件夹中,我们进入conf文件夹,其中应该找到名为log4j.properties.template的文件。 我们删除模板部分,因此名称应为log4j.properties。为了我们自己的理智,我们可以打开文件并将rootCategoryINFO更改为WARN

  6. 将Spark bin文件夹添加到系统的PATH环境变量中。

  7. 我们创建了一个环境变量SPARK_HOME,我们将其更改为Spark基本文件夹(spark-1.6.0-bin-hadoop2.6

  8. 我们创建了HADOOP_HOME环境变量,我们将其设置为我们提取的Hadoop基础文件夹

  9. 这就是全部

    稍后你必须学习sbt和scala。