我在Windows上安装了pyspark,并且pyspark-shell可以正常运行。那里没有问题。但是,当我尝试从jupyter笔记本创建上下文时,SparkContext挂起。
中断后,我发现它停止在:
pyspark \ java_gateway.py在标有此类注释的代码中:
#等待文件出现,或等待进程退出,以先到者为准。
屏幕截图
有关环境的更多详细信息:
- pyspark版本2.3.3(同等的火花和pyspark)
- java 8(目录名称中没有空格)
- jupyter笔记本电脑5.7.8
- python 3.6.5
我也尝试过findspark,但结果完全一样。
有人知道这可能是什么问题吗?
更新:
用户变量:
- HADOOP_HOME = C:\ spark-2.3.3-bin-hadoop2.7 \ winutils
- JAVA_HOME = C:\ Java \ jdk1.8.0_212
- SPARK_HOME = C:\ spark-2.3.3-bin-hadoop2.7
系统变量:
- HADOOP_HOME = C:\ spark-2.3.3-bin-hadoop2.7 \ winutils \ bin
- JAVA_HOME = C:\ Java \ jdk1.8.0_212
- SPARK_HOME = C:\ spark-2.3.3-bin-hadoop2.7 \ bin
- PATH包含C:\ spark-2.3.3-bin-hadoop2.7 \ bin