我想在我的Windows机器上安装Apache Spark。我必须遵循Windows特定的步骤吗?
答案 0 :(得分:3)
从the Spark website下载spark-1.6.0-bin-hadoop2.6.tgz
并以7zip为例打开它。
将其解压缩到一个文件夹,例如C :) \ sparktest。所以我的结构现在是C:\ SparkTest \ spark-1.6.0-bin-hadoop2.6 \
我们为Windows下载hadoop2.6.0: https://www.barik.net/archive/2015/01/19/172716/
我们在某处提取它。
在Spark基本文件夹中,我们进入conf
文件夹,其中应该找到名为log4j.properties.template
的文件。
我们删除模板部分,因此名称应为log4j.properties
。为了我们自己的理智,我们可以打开文件并将rootCategory
从INFO
更改为WARN
将Spark bin
文件夹添加到系统的PATH
环境变量中。
我们创建了一个环境变量SPARK_HOME
,我们将其更改为Spark基本文件夹(spark-1.6.0-bin-hadoop2.6
)
我们创建了HADOOP_HOME
环境变量,我们将其设置为我们提取的Hadoop基础文件夹
这就是全部
稍后你必须学习sbt和scala。