Question

当尝试在Mac上本地运行Spark（以前可以工作）时...

/Library/Java/JavaVirtualMachines/jdk1.8.0_192.jdk/Contents/Home/bin/java \
-cp /usr/local/Cellar/apache-spark/2.4.0/libexec/conf/:/usr/local/Cellar/apache-spark/2.4.0/libexec/jars/* \
-Xmx1g org.apache.spark.deploy.SparkSubmit \
--packages org.mongodb.spark:mongo-spark-connector_2.11:2.4.0 \
/Users/crump/main.py

我现在遇到以下错误：

Error executing Jupyter command '/Users/crump/main.py': [Errno 2] No such file or directory

文件在那里。既然我知道这曾经有用，所以我必须最近安装了一些东西，可以更改库，SDK等。

Answer 1

好的，我终于找到了答案：PYSPARK_DRIVER_PYTHON=jupyter在我的环境中。我将其设置为仅使用pyspark命令启动Jupyter / Spark笔记本，但这会导致spark-submit失败。

该解决方案将变量设置为使用python，而不使用jupyter：PYSPARK_DRIVER_PYTHON=python.

为什么火花提交失败并显示“执行Jupyter命令出错”？

1 个答案: