Windows上的Spark - ＆＃34;系统无法找到指定的路径。＆＃34;

时间：2017-12-06 19:22:39

标签： java apache-spark path windows-7-x64

这似乎是一个常见的问题，试图从我迄今为止所做的研究中使用Spark，并且通常与PATH设置不正确有关。 然而，我已经对PATH进行了三次检查，并尝试了我在网上遇到的许多解决方案，但我仍然无法弄清楚导致问题的原因。

  1. 尝试运行＆＃34; spark-shell＆＃34;从Windows 7中的命令提示符（64位）返回＆＃34;系统找不到指定的路径。＆＃34;

    2. "Cannot find the specified path" screen shot

    1. 但是，我可以在spark-shell.exe所在的目录中运行相同的命令（虽然有一些错误），这让我相信这是一个PATH问题，就像大多数关于此的其他帖子一样互联网上的问题。然而....

      2. Spark-shell works when called from directory

      Shell appears to be working

      1. 据我所知，我的PATH似乎设置正确。我遇到的这个问题的大部分解决方案都涉及修复％JAVA_HOME％系统变量以指向正确的位置，并添加＆＃39;％JAVA_HOME％/ bin＆＃39;到PATH（以及保存＆＃39; spark-shell.exe＆＃39;的目录）。但是，我的JAVA_HOME变量和PATH变量似乎都包含所需的目录。

        2. Screenshot of PATHs

        感谢您的帮助！

1 个答案:

答案 0 :(得分：1)

原来这个问题是由我以前安装的Spark版本引起的。 PySpark已经通过＆＃34; pip安装PySpark＆＃34;当我尝试安装独立的Spark客户端时，安装了两个Spark实例，运行＆＃34; spark-shell＆＃34;在引用这两个位置时产生了冲突。

所以尽管PATH设置正确，但＆＃34; spark-shell＆＃34;正在引用之前的PySpark安装并且独立的Spark安装正在创建该问题。

我注意到我跑的时候＆＃34; pyspark＆＃34;从命令行，它返回了两个实例＆＃34;系统找不到指定的路径。＆＃34;错误...让我相信pyspark / spark安装在两个位置，并且当我调用＆＃34; spark-shell＆＃34;时可能会导致解决PATH的问题。

我跑了＆＃34; pip uninstall pyspark＆＃34;，然后当我重新尝试＆＃34; spark-shell＆＃34;从命令行开始按预期工作！

相关问题
最新问题