我在CentOS上安装了Spark。这是默认的2.6 Python。我想使用最新版本,所以我将它安装在一个单独的位置/usr/local/Python-3.3.5。要使用Spark的Python API,我修改了spark-env.sh配置文件。目前尚不清楚我是否使用了正确的语法。当我使用./pyspark命令启动spark时,它会给出一个权限被拒绝的错误。这就是我目前所拥有的:
export PYSPARK_PYTHON=/usr/local/Python-3.3.5/
我也试过PYSPARK_PYTHON=/usr/local/Python-3.3.5/
(没有导出)。还有同样的问题。
有人可以提出可能存在的问题吗?我还检查了Spark&的所有者。 Python和它们都归root所有。
答案 0 :(得分:0)
您需要指向您的可执行文件python
export PYSPARK_PYTHON=[YOUR_PYTHON_PATH]/bin/python