使用spark-submit强制Python2

Question

我正在使用AWS EMR创建Spark应用程序，但使用Python 3而不是Python 2运行spark-submit。 但是当我运行pyspark时，它就是Python 2。

如何强制spark-submit使用Python 2？

我试着做

export PYSPARK_PYTHON=/usr/bin/python2 

但它没有用。

由于

Answer 1

您是否尝试插入

PYSPARK_PYTHON=/usr/bin/python2 

语句到spark-env.sh文件？

Answer 2

其实我的代码中有这个

from __future__ import print_function

当我运行print'hello world'时它崩溃了，因为它不是默认的打印功能。但我认为它崩溃了，因为它使用的是Python 3而不是Python 2。