spark-shell系统找不到指定的路径

Question

我正在尝试在Windows 7上的cmd提示符下运行spark-shell命令。我已经安装了hadoop并将其保存在C：\ winutils \ hadoop-common-2.2.0-bin-master \ bin和Spark下C下：\火花\火花2.2.1彬hadoop2.7 \ bin中

执行spark-shell时，我遇到以下错误。

C：\火花\火花2.2.1彬hadoop2.7 \ BIN＆GT;火花壳 系统找不到指定的路径。

以下是我的env变量

HADOOP_HOME C:\winutils

JAVA_HOME   C:\Program Files\IBM\Java80\jre

PATH        C:\Users\IBM_ADMIN\AppData\Local\Programs\Python\Python36-32;C:\IBM\InformationServer\Clients\Classic;C:\Program Files\IBM\Java80\jre;C:\Windows\system32

SCALA_HOME  C:\Program Files (x86)\scala\

截图

Answer 1

我在 Windows 10 专业版上使用 Apache Spark 时遇到了同样的问题。

注意：

1. 卸载任何高于 8 的 JAVA JDK (jdk1.8.0_181)--11-16 导致问题。

2. 使用“certutil -hashfile c:\users\username\Downloads\spark-2.7.5-bin-hadoop2.7.tgz SHA512”测试 Apache 文件。 请记住将“用户名”替换为例如“certutil -hashfile c:\users*datamind*\Downloads\spark-2.4.5-bin-hadoop2.7.tgz SHA512”

3. 搜索“编辑环境变量”。

4. C:\Program Files\Java\jdk1.8.0_181

5. 点击“用户变量”中的路径;%JAVA_HOME%\bin

6. 对 HADOOP_HOME 和 JAVA_HOME 重复第 2 步和第 3 步。

请按照此链接一步一步完成所有操作。 https://phoenixnap.com/kb/install-spark-on-windows-10

Answer 2

尝试在Windows 7中安装Spark local时，我遇到相同的问题。请确保以下路径正确，并且可以与您一起使用。

1. 创建JAVA_HOME变量：C:\Program Files\Java\jdk1.8.0_181\bin
2. 将以下部分添加到您的路径中：;%JAVA_HOME%\bin
3. 创建SPARK_HOME变量：C:\spark-2.3.0-bin-hadoop2.7\bin
4. 将以下部分添加到您的路径中：;%SPARK_HOME%\bin
5. 最重要的Hadoop路径应在winutils.ee之前包含bin文件，如下所示： C：\ Hadoop \ bin 确保在该路径中找到winutils.exe。
6. 创建HADOOP_HOME变量：C:\Hadoop
7. 将以下部分添加到您的路径中：;%HADOOP_HOME%\bin

现在您可以运行cmd并编写spark-shell它将起作用。

Answer 3

您的JAVA_HOME设置为JRE，请确保将其指向JDK文件夹（它应位于JRE旁边）