使用本地Python运行SPARK作业

Question

我正在提交如下工作：

spark-submit --conf spark.ui.port=5051 server_code.py

我的python设置为我的家庭用户python：

export PYSPARK_PYTHON="$HOME/software/anaconda3/bin/python3.7"

但是，当我像这样运行spark时，它无法访问此python，因此会抱怨。有没有办法解决？当作业不涉及Web UI时，我可以使用上述配置运行spark作业。在上述情况下，我正在提供带有结果的Web UI。

java.io.IOException: Cannot run program "/x/software/anaconda3/bin/python3.7": error=13, Permission denied

Answer 1

我通过提供对主目录中文件夹的访问权限解决了我的问题。 chmod 777目录名一直到chmod 777到实际的python脚本