Apache Spark与pip安装无法正常工作

时间:2017-07-17 16:52:14

标签: python apache-spark pip pyspark

我正在尝试使用Python安装Apache Spark,并在7月11日版本中使用了pip install python命令。但是,虽然这成功安装,但我可以运行

from pyspark import SparkContext

在python shell中,我无法通过运行

访问pyspark shell
pyspark

或spark-submit,带

spark-submit.

两者的错误是'找不到指定的路径'。我在Windows上,并怀疑我错过了JAR文件的火花。 pip安装不应该解决这个问题吗?

1 个答案:

答案 0 :(得分:1)

您的路径中缺少pysparkspark-submit位置(应为<spark install directory>\bin)。

您可以通过完全指定其位置,导航到其安​​装位置并运行pyspark或将其添加到系统路径来运行它们。