无法创建Spark上下文-SparkContext挂起,Windows OS

时间:2019-07-09 15:11:57

标签: apache-spark pyspark

我在Windows上安装了pyspark,并且pyspark-shell可以正常运行。那里没有问题。但是,当我尝试从jupyter笔记本创建上下文时,SparkContext挂起。

中断后,我发现它停止在: pyspark \ java_gateway.py在标有此类注释的代码中:

#等待文件出现,或等待进程退出,以先到者为准。

屏幕截图

Screenshot

有关环境的更多详细信息:

  • pyspark版本2.3.3(同等的火花和pyspark)
  • java 8(目录名称中没有空格)
  • jupyter笔记本电脑5.7.8
  • python 3.6.5

我也尝试过findspark,但结果完全一样。

有人知道这可能是什么问题吗?

更新:

用户变量:

  • HADOOP_HOME = C:\ spark-2.3.3-bin-hadoop2.7 \ winutils
  • JAVA_HOME = C:\ Java \ jdk1.8.0_212
  • SPARK_HOME = C:\ spark-2.3.3-bin-hadoop2.7

系统变量:

  • HADOOP_HOME = C:\ spark-2.3.3-bin-hadoop2.7 \ winutils \ bin
  • JAVA_HOME = C:\ Java \ jdk1.8.0_212
  • SPARK_HOME = C:\ spark-2.3.3-bin-hadoop2.7 \ bin
  • PATH包含C:\ spark-2.3.3-bin-hadoop2.7 \ bin

0 个答案:

没有答案