Pyspark：使用spark-submit

Question

我可以运行pyspark并在Jupyter笔记本上运行脚本。 但是当我尝试使用spark-submit从终端运行文件时，出现此错误：

执行Jupyter命令时出错文件路径 [Errno 2]没有这样的文件或目录

任何人都可以帮我解决配置错误吗？

我正在使用Python 2.7和Spark 1.6

Answer 1

出现这些问题是因为您已将jupyter设置为运行pyspark脚本。 现在你应该取消设置PYSPARK_DRIVER_PYTHON变量命令$ unset PYSPARK_DRIVER_PYTHON，然后再次尝试spark-submit ./bin/spark-submit examples/src/main/python/streaming/network_wordcount.py localhost 9999。