如何让PySpark / spark在我的计算机上运行python2和3？

Question

我有python 2.7的Spark / Pyspark。

我的计算机上也有python 3.6。

如何让它自动在python3.6上运行spark / pyspark？

Spark / pyspark目前只能在我的电脑上运行2.7

Answer 1

使用：

• PYSPARK_PYTHON环境变量，用于为执行程序设置Python解释器。
• PYSPARK_DRIVER_PYTHON环境变量，用于为驱动程序设置Python解释。

应在每个工作节点上设置

PYSPARK_PYTHON。最好使用$SPARK_HOME/conf/spark-env.sh，即

$ cat $SPARK_HOME/conf/spark-env.sh

#!/usr/bin/env bash

PYSPARK_PYTHON={which python3.6}