如何在Windows 10上逐步设置Spark

Question

我正在尝试在Windows 10上安装Spark，在堆栈溢出时发现了很多好的解决方案。因此，我正在尝试结合所有解决方案并创建标准化的安装步骤

Answer 1

首先要安装，您需要下载以下内容：

1. JAVA JDK-http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

2. SBT和Scala-https://www.scala-lang.org/download/

3. Winutils.exe-https://github.com/steveloughran/winutils/tree/master/hadoop-2.7.1

4. 火花-https://spark.apache.org/downloads.html

下载完成后

安装和设置Java

Java安装完成后，然后：

1. 在C：\

下创建BigData文件夹

2. 从“ C：\ Program Files \” -> “ C：\” < / p>

3. 然后创建名称为“ JAVA_HOME”的环境变量。

高级系统设置->环境变量->单击“新建”按钮

变量名称：JAVA_HOME

变量值：C：\ Java \ jdk1.8.0_181

1. 将 bin 添加到“路径” ，转到高级系统设置->环境变量->单击路径->单击新建->写入

％JAVA_HOME％\ bin

安装和设置sbt和scala

在使用sbt和scala完成安装后，在文件夹C：\ Bigdata下安装sbt和scala

1. 创建名称为“ SCALA_HOME”的环境变量。

高级系统设置->环境变量->单击“新建”按钮

变量名称：SCALA_HOME

变量值：C：\ BigData \ scala

1. 将 bin 添加到“路径” ，转到高级系统设置->环境变量->单击路径->单击新建- ->写

   ％SCALA_HOME％\ bin

为Windows设置Hadoop库

1. 从上面提到的git链接下载zip，然后从git解压缩下载的文件，然后从“ winutils-master \ hadoop-2.7”复制 winutils.exe .1 \ bin” 文件夹保存到C：\ Bigdata \ hadoop \ bin

2. 创建名称为“ HADOOP_HOME”的环境变量，高级设置->环境变量->单击“新建”

变量名称：HADOOP_HOME

变量值：C：\ BigData \ hadoop

1. 将 bin 添加到“路径” ，转到高级设置->环境变量->单击路径->单击新建，然后编写

％HADOOP_HOME％\ bin

安装和设置Spark

解压缩下载的spark软件包，然后将文件夹复制到C：\ Bigdata \，然后将复制的文件夹重命名为“ spark”。

1. 创建名称为“ SPARK_HOME”的环境变量，

高级设置->环境变量->单击新建->

变量名称：SPARK_HOME

变量值：C：\ BigData \ spark

1. 将 bin 添加到路径，高级设置->环境变量->单击路径->单击新建->写入

％SPARK_HOME％\ bin

1. 现在在C：\下创建/ tmp / hive目录，并通过以下命令设置权限：

打开cmd提示：

mkdir c：\ tmp

mkdir c：\ tmp \ hive

winutils chmod 777 / tmp / hive

现在，设置完成。

转到cmd提示符，然后键入“ spark-shell”以运行火花。

我遇到的某些问题正在发出问题：

1. 您的计算机名称不应包含下划线，这给了我错误。

2. 需要安装Java JDK，版本应为Java 1.8.0_181

3. 已配置多个Java版本，这给我带来了问题，应该只需要配置一个Java版本。